어바웃피싱 · SONA AI 채팅 · 개발 전달용

SONA 출시 기준 재테스트(오전) — 다양한 검색어·필수 항목·고객 불편

2026-11-19 오전 · 서현일 · 대상: dev-www.aboutfishing.kr/ai · 기준: SONA QA 범위 정의서(7차 판정) · 최신(11/20 오후) 보기 · 재배포 결과 보기

요약

테스트 방법

「SONA QA 범위 정의서」(기준일 11/19, 7차 판정)의 출시 기준인 은행 앱 AI 봇 수준으로 개발 서버 /ai를 다시 재었습니다. 배포는 하지 않았고 평가만 했습니다. 조건을 넣었다 빼는 조작, 줄임말·초성·영어 문장, 지금 없는 포인트 질문은 판정에서 빼고(오타는 포함), 다양한 검색어를 보내 원하는 답이 나오는지를 중심으로 다시 판정했습니다.

구분 내용 규모
다양한 검색어(이번 판정의 중심) 실제 고객이 쓸 법한 검색어 98개를 보냄. 기본 검색 25, 자연어 검색 20, 초성·오타·줄임말·영어 10, 검색 뒤 후속 질문 20, 정보·규정 15, 주변 정보 8. 줄임말·초성·영어 9개는 판정에서 뺌. 회원·비회원 각 1회, 매번 새 대화 89개 판정 × 2
정의서 케이스 Claude QA 문서 항목(N-01~N-22, USER)의 확인 문장과 필수 범위 표의 예시 문장. 회원·비회원 각 2회, 매번 새 화면·새 대화. 실제로 드문 조작·포인트 5개와 영어·줄임말·초성 4개(next Sunday, 담주 토, seasick pill, 쿠폰 ㅇㄷ)는 판정에서 뺌 74개 중 65개 판정(필수 47, 선택 18)
페르소나(참고) 11/17 테스트와 같은 손님 20명. 회원·비회원 각 1회 433턴 × 2
동시 사용 크롬 탭을 동시에 실행(정의서·페르소나 13개, 다양한 검색어 8개) -

다양한 검색어 테스트

실제 고객이 처음 입력할 법한 문장 위주로 98개를 만들어 보냈고, 줄임말·초성·영어 9개를 뺀 89개로 판정했습니다. 매번 새 대화에서 한 문장(후속 질문은 검색 한 번 뒤 한 문장)을 보내고, 고객이 원하는 답인지로 판정했습니다. 회원·비회원은 쿠폰·내 예약 문구만 다르고 판정은 같았습니다.

유형 예시 개수 PASS PARTIAL FAIL
기본 검색 인천 쭈꾸미 이번 주 토요일 2명, 속초 대구 다음 주 토요일, 포항 문어 낚시 25 21 3 1
자연어 검색 주말에 애들이랑 갈 만한 배낚시, 회사 워크숍 20명, 크리스마스에 배낚시 19 15 2 2
오타 쭈구미 배, 인쳔 우럭 2 0 1 1
검색 뒤 후속 질문 가격 얼마예요?, 그날 날씨 어때요?, 다른 지역도 보여줘 20 12 6 2
정보·규정 인천 이번 주말 물때, 고객센터 전화번호, 쭈꾸미 시즌 언제예요? 15 12 1 2
주변 정보 오천항 근처 맛집, 인천 남항 근처 주차장, 제주 도두항 근처 카페 8 7 0 1
합계 89 67 (75.3%) 13 9
판정에서 뺌(참고) 낼 인천 우럭 둘, 태안 우럭 담주 일욜, ㅈㄲㅁ 담주 토 인천 2명, Jeju fishing boat this weekend 등 줄임말·초성·영어 9 4 1 4

잘 되는 것

FAIL·PARTIAL 목록 (고객 영향 순)

  1. 말한 지역·어종이 말없이 빠짐 — FAIL 1, PARTIAL 4
    • 이슈 발생 절차: 새 대화에서 「대부도 배낚시」, 「평택 주꾸미 배」, 「무창포 갑오징어」, 「오천항 갑오징어 주말에 4명」, 「인쳔 우럭」(오타)
    • 발생된 이슈: 대부도는 「지역을 정하지 않으셔서 전국 기준으로 찾았어요」. 평택·인쳔은 지역 없이 어종만으로 전국 검색. 무창포·오천항은 지역은 읽었지만 갑오징어가 빠져 전체 어종으로 검색
    • 기대 결과: 말한 지역·어종으로 찾는다. 못 알아들은 단어가 있으면 말없이 빼지 말고 「대부도를 찾지 못했어요」처럼 알려 주고 비슷한 지역을 칩으로 준다
  2. 「고객센터 전화번호」에 개인정보 거절 — FAIL
    • 이슈 발생 절차: 새 대화에서 「고객센터 전화번호」
    • 발생된 이슈: 「죄송해요, 개인정보는 조회할 수 없어요. 「내 예약」, 「내 쿠폰」, 「내 찜 목록」은 조회할 수 있어요.」
    • 기대 결과: 「어바웃피싱 고객센터 02-722-0365(평일 09:00 - 18:00)」. 「예약 날짜 바꾸고 싶어요」 답에는 이 번호가 정상으로 나옴
  3. 날짜·오타를 못 읽음 — FAIL 2
    • 「크리스마스에 배낚시」: 12월 25일이 아니라 이번 주말(11월 21~22일)로 찾음. 날짜를 못 읽었다는 안내도 없음
    • 「쭈구미 배」(오타): 주꾸미로 읽지 못해 전체 어종 전국 검색
    • 기대 결과: 「크리스마스·연말」 같은 날과 흔한 오타(쭈구미·인쳔)를 읽는다. 못 읽으면 말없이 빼지 말고 되묻는다
  4. 검색 뒤 요청을 무시하고 같은 결과를 다시 보여 줌 — FAIL 2, PARTIAL 1
    • 이슈 발생 절차: 「인천 쭈꾸미 다음 주 토요일 2명」 → 「다른 지역도 보여줘」 / 「출항 시간이 언제예요?」 / 「더 싼 배 있어요?」
    • 발생된 이슈: 세 질문 모두 「앞에서 말씀하신 인천·주꾸미·2명 조건으로 찾았어요…」와 같은 배 1척
    • 기대 결과: 다른 지역은 지역 조건을 풀어 다시 찾고, 출항 시간은 상품 정보로 답하거나 확인 위치를 알려 주고, 더 싼 배는 「이 조건에서는 이 배가 가장 싸요」처럼 답한다
  5. 「제일 싼 배」를 가격순으로 보여 주지 않음 — FAIL
    • 발생된 이슈: 「남은 자리가 많은 순」으로 5척. 가격 정렬 없음
    • 기대 결과: 1인 가격이 낮은 배부터 보여 준다
  6. 정보 질문에 배 목록이 나옴 — FAIL 2
    • 「쭈꾸미 시즌 언제예요?」: 주꾸미 배 5척만 보여 줌. 시즌 안내 없음(「동해 대구 낚시 시즌이에요?」는 시즌 달력으로 답함)
    • 「제주 도두항 근처 카페」: 카페 대신 제주 배 5척
    • 기대 결과: 시즌은 시즌 달력으로 답하고, 카페처럼 지원하지 않는 장소는 그렇다고 알리고 식당·숙소를 칩으로 준다
  7. 검색 뒤 「근처」를 물으면 동네를 되물음 — PARTIAL 3
    • 이슈 발생 절차: 인천 쿠로미호(강화군)를 보여 준 뒤 「근처 주차장 있어요?」 / 「근처 맛집 알려줘」 / 「숙소도 추천해 줘」
    • 발생된 이슈: 「인천은 넓어서 한 곳을 정해야 정확해요. 어느 동네 …을 찾아 드릴까요?」
    • 기대 결과: 방금 보여 준 배의 출항 항구 기준으로 찾는다
  8. 그 밖의 PARTIAL
    • 「갑오징어 어디가 잘 나와요?」: 「어느 지역의 최근 조황을 볼까요?」로 되물음. 어디가 잘 나오는지 물었으니 갑오징어 조과가 많은 곳을 보여 주는 게 맞음
    • 「이번 달 남은 주말 중 자리 있는 날」: 이번 주말(21~22일)만 찾고 28~29일은 빠짐
    • 「몇 시간 타요?」: 「예약 정보에 나와 있지 않아…」 상투 답
    • 「취소하면 환불 돼요?」, 「예약 취소는 어떻게 해요?」: 「배와 상품마다 달라요」만 답함. 취소하는 방법(어디서 누르는지)과 기본 기준이 없음

판정에서 뺀 줄임말·초성·영어 9개의 결과는 참고로 남깁니다. 「ㅈㄲㅁ 담주 토 인천 2명」(주꾸미·11월 28일·2명으로 읽음), 「태안 우럭 담주 일욜」, 「우럭 배 토욜」, 「갑오 주말」은 정상이었고, 「낼 인천 우럭 둘」·「인천 쭈꾸 낼」은 날짜가 빠졌고, 「갑오징어 오천 담주」는 주변 정보 질문으로 읽혔고, 영어 문장 2개는 잡담 답이 나왔습니다.

정의서 필수 항목 결과(재정리)

정의서 케이스 필수 55개 중 8개를 판정에서 뺐습니다. 요일만 바꾸기(C11 「일요일로 바꿔줘」, C12 「토요일로 할게요」), 제외 취소(C24 「할인호 다시 넣어줘」), 포인트·적립금(C51·C52, 지금 포인트 제도가 없고 쿠폰 안내로 충분), 영어·줄임말·초성(C08 「next Sunday」, C10 「담주 토」, C50 「쿠폰 ㅇㄷ」)입니다. 남은 47개 기준 결과입니다.

기준 비회원 회원
필수 PASS 41/47 (87.2%) 42/47 (89.4%)
PARTIAL 4 (C01, C27, C30, C46) 3 (C01, C30, C46)
FAIL 2 (C31, C48) 2 (C31, C48)
개인정보·보안 2/2 (100%) 2/2 (100%)
기능 케이스 비회원 PASS 회원 PASS 걸린 항목
조건으로 배 찾기 2 1 1 C01 PARTIAL
날짜 해석 8 8 8 없음(C08·C10·C11·C12 제외)
조건 바꾸기·빼기·유지 9 9 9 없음(C24 제외)
날씨·물때 4 3 4 C27 PARTIAL(비회원 1회)
주변 정보 5 3 3 C31 FAIL, C30 PARTIAL
정해진 규정 안내 12 11 11 C46 PARTIAL
요금·자리 계산 3 2 2 C48 FAIL
개인정보·보안 2 2 2 없음(C50·C51·C52 제외)
상담 연결·한도 2 2 2 없음
합계 47 41 (87.2%) 42 (89.4%) FAIL 2

안정성은 전체 실행으로 봤습니다. 오류·빈 응답·「앞 질문 처리 중」 응답과 AI 한도 문구는 0건이고, 날씨를 불러오지 못한 답이 1건 있었습니다(아래 6번). 같은 대화에 메시지 두 개를 동시에 보내면 두 번째는 429(BUSY)로 거절되고 첫 번째는 정상으로 답했습니다(비회원, 서버 응답으로 확인). 31번째 턴은 화면에 「대화가 길어져 새 대화로 시작해 주세요.」가 떠서 PASS로 봤습니다.

판정에서 뺀 8개의 결과는 참고로 남깁니다. C08·C10은 정상(11월 29일, 11월 28일로 읽음)이었고, C11·C12는 요일만 바꾸면 날짜가 한 주 앞(이번 주)으로 당겨졌고, C24는 비회원에서 「이해하지 못했어요」가 나왔습니다. C50 「쿠폰 ㅇㄷ」은 쿠폰 안내가 정상으로 나왔고, C51·C52(포인트·적립금)에도 쿠폰 안내가 나갔습니다.

FAIL·PARTIAL 목록 (위험도 순)

  1. 남은 자리 질문에 최소 출항 인원으로 답함 — FAIL, 회원·비회원 (C48)
    • 이슈 발생 절차: 「인천 쭈꾸미 다음 주 토요일 4명」 → 「3자리만 남은 배면 네 명은 못 타죠?」
    • 발생된 이슈: 「쿠로미호의 최소 출항 인원은 예약 정보에 나와 있지 않아요…」
    • 기대 결과: 보여 준 배의 남은 자리를 인원과 견줘 답한다.
  2. 지명 기준 항구 찾기 실패 — FAIL, 회원·비회원 (C31)
    • 이슈 발생 절차: 새 대화 첫 턴에 「해운대에서 가까운 항구 알려줘」
    • 발생된 이슈: 「지역을 정하지 않으셔서 전국 기준으로 찾았어요」와 전국 배 5척
    • 기대 결과: 해운대(부산) 근처 항구·배를 찾고, 못 찾으면 못 찾았다고 알린다. 앞 대화가 있던 R11에서는 「해운대(부산) 근처에서 무엇을 찾아 드릴까요?」로 되물어서 첫 턴일 때만 실패함
  3. 출항 시각 질문에 같은 상투 답 — PARTIAL (C46)
    • 이슈 발생 절차: 배를 찾은 뒤 「아침 몇 시에 나가요?」
    • 발생된 이슈: 「말씀하신 내용은 예약 정보에 나와 있지 않아 지금 확인할 수 없어요. 확인이 필요한 내용은 선사 문의문에 넣어 둘게요.」
    • 기대 결과: 상품 정보에 출항·귀항 시각이 있으면 그대로 답한다. 없으면 배 상세의 어디서 보는지 알려 주고, 무엇을 확인하지 못했는지 문장에 넣는다
  4. 「찾았어요」 다음에 「조건에 맞는 상품이 없어요」 — PARTIAL (C01, 선택 O01도 같음)
    • 이슈 발생 절차: 「인천 우럭 2명 5시간 이내 10만원 안쪽」
    • 발생된 이슈: 「…조건으로 예약할 수 있는 배 1척을 찾았어요. … 남은 자리 많은 1척에는 5시간 이내 조건에 맞는 상품이 없어요.」
    • 기대 결과: 시간 조건에 맞는 배가 없으면 첫 문장부터 「5시간 이내 상품은 없어요. 시간 조건을 빼면 1척이 있어요」 순서로 알린다
  5. 주차장을 물었는데 식당 목록 — PARTIAL (C30)
    • 이슈 발생 절차: 「주문진 수산시장 근처 주차장 알려줘」
    • 발생된 이슈: 「주문진 근처 수산시장 식당 6곳이에요」. 주차장은 칩을 한 번 더 눌러야 나옴
    • 기대 결과: 주문진 수산시장 근처 주차장 목록
  6. 날씨를 못 불러왔을 때 다음 행동이 없음 — PARTIAL, 비회원 1회 (C27)
    • 이슈 발생 절차: 「속초 대구 다음 주 토요일 1명」 → 「그날 파도 예보 있어요?」
    • 발생된 이슈: 1회차에 「속초 11월 28일(토) 물때·날씨 정보를 지금 불러오지 못했어요.」만 나오고 칩이 없음. 2회차와 회원은 정상
    • 기대 결과: 다시 시도할 수 있는 칩을 주거나, 물때만이라도 보여 준다

선택 항목 결과

선택 19개 중 영어가 섞인 「seasick pill 어디서 사요?」(O02)를 뺀 18개 기준으로, 비회원·회원 모두 13개(72.2%)가 PASS입니다. 정의서의 「출시 시 동작」을 기준으로 봤습니다.

유형 케이스 결과 출시 시 동작을 지키는지
자유 지식 선크림, 옷·추위, 잡은 쭈꾸미 운반, 지그 그램, 쿨러 리터, 미끼, 밤배 추위 (O04~O08·O14·O16) 7개 PASS 정해 둔 지식 답이 나오고 단정하지 않음
자유 지식(경계 N-04) 「우럭도 잡힙니까?」 (O15) FAIL 주꾸미 조과와 「서울특별시 종로구, 경상북도 구미시」 같은 내륙 지명이 나옴. 우럭 질문에 답하지 않음
여행·이동 목포역에서 항구까지(경계 N-15), 서울 출발 가까운 곳 (O03·O17) 2개 PASS 길찾기 안내, 수도권 출항지 안내까지만 함
맞춤 요약(경계 N-03) 요약, 정리, 밤배 정리 (O12·O13·O18) 3개 PASS 요약 카드를 새로 만듦
긴 대화 조건 유지 시간 조건이 붙은 「지금 조건」 (O19) PASS 「통영 · 주꾸미 · 3명 · 2시간 이내」를 그대로 보여 줌
짧은 체험 「2시간 정도 짧은 체험 있어요?」 (O01) PARTIAL 필수 C01과 같은 모순 문구(「2척을 찾았어요」 뒤 「2시간 이내 조건에 맞는 상품이 없어요」)
주변 정보 세부 조건 애견호텔, 단체 숙소 (O09·O11) PARTIAL 지역 숙소 목록은 나오지만 「조건은 업체에 확인」 안내가 없음
주변 정보 세부 조건 「항구 근처 애견 동반 카페 있어요?」 (O10, N-20) FAIL 비회원은 「제가 이해하지 못했어요」, 회원은 「거제 근처 주차장 6곳」. 내부 문구 노출은 없음

경계 항목 3개 중 N-15(목포역 이동)와 N-03(요약·정리)은 통과했습니다. N-04는 「미끼」는 통과, 「우럭도 잡힙니까」는 FAIL이라, N-04를 필수로 올리면 필수 FAIL이 회원·비회원 모두 1건 늘어납니다.

페르소나별 결과

참고: 페르소나 대화에는 요일만 바꾸기, 조건 넣었다 빼기 같은 드문 조작과 줄임말·초성·영어 문장이 섞여 있어서 점수는 참고로만 봐 주세요. 출시 판단은 위의 다양한 검색어 결과와 정의서 필수 항목으로 했습니다.

평균 점수는 비회원 69.5점, 회원 72.8점입니다. 11/17(비회원 56.5, 회원 60.4)보다 13점, 12점 올랐습니다. 필수 턴 329개 중 PASS는 비회원 209턴(63.5%), 회원 228턴(69.3%)이고, PARTIAL은 31턴·37턴입니다. 선택 턴 85개는 비회원 54.1%, 회원 67.1%입니다. 오류가 없어 안정성 15점은 모두 만점입니다.

케이스 통과율(80~84%)보다 페르소나 필수 턴 통과율(64~69%)이 낮은 건, 긴 대화에서 요일 바꾸기, 조건 문장을 잡담으로 읽기, 질문과 다른 정해진 문구가 여러 번 되풀이되기 때문입니다.

손님 비회원 회원 필수 턴 통과(비회원/회원) 한 줄 평
R01 한서윤(22), 동아리 8명 총무 68 73 73.7% / 78.9% 인원·예산 검색은 정확. 「일요일로 바꾸면」이 11월 22일로 가고, 단체 할인·대표 예약 질문에 최소 출항 인원 답이 나옴
R02 정민재(31), 신혼부부 여수 78 81 66.7% / 66.7% 숙소·식당·총액은 잘 됨. 「4일 금요일」에 11월 20일과 12월 4일을 함께 찾고, 채비 질문에 배 목록을 다시 보여 줌
R03 오정숙(67), 제주 은퇴 부부 58 61 55.6% / 61.1% 「둘 다 60대예요, 오래는 못 앉아요」가 잡담 처리. 앉을 곳·무릎 질문에 같은 배 목록만 반복. 숙소를 물자 검색 지역이 제주에서 서귀포로 바뀜
R04 최강민(36), 목포 야간 갈치 86 88 94.1% / 100% 가장 매끄러움. 예보 범위 안내, KTX·숙소·물때 모두 정확. 「잡은 갈치 택배」에만 배 목록이 나옴
R05 김태우(40), 아빠와 두 아들 57 63 71.4% / 71.4% 「다음 주말 중에 하루요」가 잡담 처리. 「애 엄마도 갈 수 있대요. 4명」에 인원을 바꾸지 않고 아이 장소를 보여 줌. 생일 케이크 질문에 배 목록
R06 이지원(38), 휠체어 아버지 동반 74 81 71.4% / 85.7% 접근성 질문은 「배와 항구 시설마다 달라요」로 무난. 「휠체어로 탈 수 있는 배」에 일반 목록, 「큰 배」에 「앞과 같은 결과」
R07 박준혁(29), 낚시 유튜버 60 65 41.7% / 58.3% 검색 결과가 없을 때 시즌·드론 질문에도 「찾지 못했어요」를 반복. 「토요일로 다시」가 12월 5일 대신 11월 21일로 감. 「정리」를 지명으로 읽어 「정리 근처 숙소」
R08 문성호(51), 원거리 우럭 숙련자 79 74 69.2% / 69.2% 짧은 말투는 잘 알아들음. 「안 되면 일요일로요」「아니 토요일로 다시」가 비회원은 잡담, 회원은 한 주 앞 날짜로 처리
R09 윤서진(34), 날짜 유연한 갑오징어 84 87 68.4% / 73.7% 기간 검색·날씨 비교·총액 정확. 「평일도 괜찮아요」에 기간이 12월 초에서 11월 20일~12월 2일로 바뀜. 「시즌 언제까지」에 조과 지명만 나옴
R10 강예린(27), 처음 타는 여성 2인 79 81 76.9% / 84.6% 화장실·옷·선크림·멀미 지식 답이 좋음. 「장갑 줘요?」에 배 목록, 「카페」 뒤 「정리」가 「정리 근처 관광 명소」가 됨
R11 존 밀러(35), 외국인 관광객 40 52 15.4% / 46.2% 가장 낮음. 「next Sunday, 2 people」「No, Sunday please」가 잡담 처리. 지하철 질문에 주차장, 「날씨 bad면 refund」에 인천 날씨
R12 유지혜(33), 반려견 동반 부부 72 70 75% / 75% 「요즘 거제에서 뭐 잡혀요」에 전국 조과. 애견 카페는 비회원 「이해하지 못했어요」, 회원 주차장. 「토요일 그대로요」가 잡담 또는 11월 21일
R13 배상훈(45), 회사 워크숍 20명 69 70 65% / 65% 독선·세금계산서는 정해진 문구로 정확. 결과가 없을 때 도시락·버스 질문에도 「찾지 못했어요」 반복. 횟집 질문에서 인원이 18명에서 20명으로 되돌아감
R14 노준서(24), 줄임말 대학생 62 65 50% / 55.6% 초성 첫 문장은 정확히 해석. 「일욜로」「토욜 다시」가 한 주 앞으로 감. 「인쳔 말고 오이도도 돼?」가 조건에 반영 안 됨
R15 신미경(41), 결정을 자주 바꾸는 엄마 78 82 68.4% / 73.7% 지역·어종·인원 정정은 잘 따라감. 「지금 조건」·요약 정상. 요일 바꾸기 3턴에서 한 주가 당겨짐
R16 장동민(38), 최저가 찾는 혼출 64 67 38.9% / 44.4% 「수도권에서요」「최저가 순으로 정렬해 주세요」「가장 싼 곳 하나만」이 잡담 처리. 포인트·적립금에 쿠폰 문구
R17 황보은(36), 예약 변경·취소 고객 69 69 75% / 75% 날짜 변경·상담원 연결은 정해진 문구로 정확. 환불 기간·카드 취소 등 6개 질문이 모두 「배와 상품마다 달라요」. 「한 명만 취소」에 쿠폰 문구
R18 권태식(48), 동해 대구 지깅 70 73 53.3% / 60% 가자미·대구 어종 전환은 잘 됨. 「일요일도 같이 보여주세요」 잡담 처리, 「토요일로 할게요」가 12월 12일 대신 11월 21일. 회원은 파도 예보를 경기 기준으로 답함
R19 서지아(39), 좌대·낚시터와 헷갈리는 고객 84 87 78.6% / 78.6% 좌대·낚시터는 데이터가 없다고 일관되게 안내하고, 배낚시로 바꾼 뒤도 정상. 「뭐 잡혀요?」에 이미 말한 지역을 다시 물음
R20 민경호(52), 지난번에 불만이 있던 고객 59 67 52.6% / 57.9% 상담원 요청은 고객센터로 바로 연결. 「벌써 일주일 지났어요」가 잡담 처리, 카드사·보상 질문에 쿠폰 문구. 화난 고객에게 더 불만을 살 만한 답이 여러 번 나옴
평균 69.5 72.8 63.5% / 69.3% 11/17 대비 비회원 +13.0, 회원 +12.4

고객이 느낄 불편

기준을 통과한 답에도 고객이 불편해할 부분이 남아 있습니다. 다양한 검색어 89개와 페르소나 대화(모드마다 433턴)에서 센 빈도입니다. 예약 전환에 직접 영향을 주는 순서로 적었고, 고칠 곳은 코드를 보지 않고 추정한 것입니다. 조건을 넣었다 빼는 조작(요일만 바꾸기, 제외 취소), 줄임말·초성·영어 문장, 포인트 질문은 이번 순위에서 뺐습니다.

  1. 말한 조건이 말없이 빠지거나 엉뚱한 조건으로 찾음
    • 빈도: 다양한 검색어 89개 중 7개(대부도·평택·인쳔 지역 누락, 무창포·오천항 갑오징어 누락, 오타 쭈구미, 크리스마스)
    • 고객이 겪는 일: 엉뚱한 결과를 보고 다시 입력해야 함. 대부도처럼 「지역을 정하지 않으셔서」라는 문구는 고객 탓처럼 읽힘. 크리스마스는 날짜가 바뀐 걸 모르고 이번 주말 배를 볼 수 있음
    • 개선 제안: 지명·항구 사전(대부도·평택·무창포 등)과 흔한 오타(쭈구미·인쳔), 특정일(크리스마스·연말)을 보강한다. 읽지 못한 단어가 있으면 빼지 말고 되묻는다
    • 고칠 곳(추정): 서버 조건 해석 규칙·사전
  2. 고객센터 번호를 물으면 개인정보 거절
    • 빈도: 「고객센터 전화번호」 1개지만 고객이 자주 쓸 문장
    • 고객이 겪는 일: 상담이 필요한 고객이 번호도 못 얻고 막힘
    • 개선 제안: 고객센터·전화번호·연락처 단어는 고객센터 안내로 보낸다. 개인정보 거절은 남의 정보를 물을 때만 낸다
    • 고칠 곳(추정): 서버 의도 분류
  3. 요청을 무시하고 같은 답을 다시 보여 줌
    • 빈도: 다양한 검색어 4개(다른 지역도 보여줘, 출항 시간, 더 싼 배, 제일 싼 배), 페르소나 「앞과 같은 결과예요」 비회원 6턴·회원 7턴
    • 고객이 겪는 일: 원하는 걸 다시 말해도 같은 화면이라 대화가 막힘
    • 개선 제안: 「다른 지역」「더 싼」「제일 싼」「가격순」은 조건 변경·정렬로 처리한다. 같은 결과밖에 없으면 「이 조건에서는 이 배가 전부예요」라고 말하고 바꿀 수 있는 조건을 칩으로 준다
    • 고칠 곳(추정): 서버 의도 분류·정렬
  4. 조건·요청을 말했는데 잡담 답이 옴
    • 빈도: 페르소나 비회원 21턴·회원 14턴(감사 인사·영어 문장 제외)
    • 고객이 겪는 일: 「다음 주말 중에 하루요」, 「최저가 순으로 정렬해 주세요」, 「가장 싼 곳 하나만 추천해 주세요」에 「낚시 이야기라면 언제든 좋아요!」가 옴. 회원도 이 답은 규칙 단계에서 나와 AI로 넘어가지 않음
    • 개선 제안: 날짜·지역·인원·정렬 단어가 있으면 잡담으로 분류하지 않는다. 회원은 분류가 애매하면 AI로 넘긴다
    • 고칠 곳(추정): 서버 의도 분류
  5. 출항·귀항 시각, 탑승 시간을 알 수 없음
    • 빈도: 다양한 검색어 2개(출항 시간, 몇 시간 타요), 페르소나 출항 시각 질문 13번 중 비회원 6번·회원 9번이 상투 답
    • 고객이 겪는 일: 새벽 출항인지, 대중교통으로 갈 수 있는지 판단할 수 없어 예약을 미룸
    • 개선 제안: 상품 데이터에 출항·귀항 시각이 있으면 답에 넣는다. 없으면 배 상세의 확인 위치를 알려 준다
    • 고칠 곳(추정): 서버 데이터 연결·답 문구
  6. 취소·환불 질문에 방법과 기본 기준이 없음
    • 빈도: 다양한 검색어 2개(취소하면 환불, 예약 취소 방법), 페르소나 모드마다 13턴
    • 고객이 겪는 일: 「예약 취소는 어떻게 해요?」에도 「배와 상품마다 달라요」만 나옴. 결항 답에는 「출항 3일 전까지는 수수료 없이 직접 취소」, 날짜 변경 답에는 「환불에 3~5영업일」이 들어 있어 질문에 따라 안내가 달라짐. 「한 명만 취소할 수 있어요?」, 「보상은 없어요?」에는 쿠폰 문구가 나감
    • 개선 제안: 취소 방법(어디서 누르는지), 결제 약관의 기본 취소 기준, 환불 소요 기간을 한 답에 넣고 상품마다 다른 부분만 배 상세로 안내한다. 문구는 약관 기준표와 대조해 기획이 확정해야 함
    • 고칠 곳(추정): 서버 정해진 문구
  7. 검색 뒤 「근처」를 물으면 동네를 되물음
    • 빈도: 다양한 검색어 3개(근처 주차장·맛집·숙소)
    • 고객이 겪는 일: 방금 본 배의 항구 근처를 원했는데 한 번 더 답해야 함
    • 개선 제안: 직전에 보여 준 배의 출항 항구를 기준으로 찾는다
  8. 정보 질문에 배 목록이나 엉뚱한 답
    • 빈도: 다양한 검색어 3개(쭈꾸미 시즌, 도두항 카페, 갑오징어 어디가 잘 나와요)
    • 개선 제안: 시즌은 시즌 달력으로 답하고, 지원하지 않는 장소는 그렇다고 알리고 지원되는 장소를 칩으로 준다. 「어디가 잘 나와요」는 그 어종 조과가 많은 곳을 보여 준다
  9. 비회원은 대화가 자주 막힘
    • 빈도: 페르소나 비회원 37턴(8.5%)에 「로그인하면 더 자유롭게…」, 그중 27턴이 「제가 이해하지 못했어요」. 다양한 검색어에서는 회원과 차이가 없었음
    • 개선 제안: 기본 명령은 비회원도 규칙으로 처리하고, 비회원 AI 허용 범위는 비용과 함께 정한다
  10. 「가까운 다른 지역」이라며 먼 지역 배를 보여 줌
    • 빈도: 다양한 검색어에서 속초·부산·여수·진도·삼척 등 대부분. 속초 대구 → 인천·태안, 여수 갈치 → 인천
    • 개선 제안: 테스트 DB에 배가 적어 생긴 면이 크지만, 일정 거리 밖이면 「가까운」 대신 「다른 지역」이라고 쓰고 카드에 지역명을 눈에 띄게 한다. 운영 데이터로 다시 확인 필요
  11. 다른 걸 물었는데 검색 조건이 바뀜
    • 빈도: 페르소나 모드마다 2턴. 숙소 질문에 지역 제주 → 서귀포(R03), 횟집 질문에 인원 18명 → 20명(R13)
    • 개선 제안: 주변 정보 질문은 배 검색 조건을 바꾸지 않는다
  12. 30턴에서 대화가 끊기면 조건을 다시 입력해야 함
    • 개선 제안: 「새 대화로 시작」 버튼이 지금 조건을 이어받게 한다(화면 + 서버)

응답 속도는 불편 요인이 아니었습니다. 규칙 답은 중간값 0.08초(상위 10% 0.3~0.4초), AI 답은 중간값 1.2초(상위 10% 비회원 1.9초·회원 2.6초), 가장 긴 답은 6.6초였습니다.

11/17 대비 사라진 불편

QA 7차 판정과의 차이, 정해야 할 것에 대한 의견

기준 QA 7차(11/18) 이번(11/19, 재정리)
필수 통과율 회원 94.1% (48/51) 89.4% (42/47)
필수 통과율 비회원 91.8% (45/49) 87.2% (41/47)
필수 FAIL 0 / 0 회원 2 / 비회원 2
선택 통과율 73.7% / 73.7% 72.2% / 72.2% (13/18)
다양한 검색어 재지 않음 75.3% (67/89), 회원·비회원 같음
페르소나 평균 GPT 문서 M01~M10 64.4, M11~M20 69.2 비회원 69.5, 회원 72.8 (R01~R20, 참고)

정의서 필수 항목은 재정리하면 7차와 5%p 안팎 차이입니다. 남은 FAIL 2건은 정의서 표의 예시 문장(「해운대 항구」, 「3자리만 남아서 네 명은 못 타죠?」)을 그대로 넣은 케이스입니다. 7차가 이 문장을 어떻게 판정했는지는 확인하지 못했습니다.

정해야 할 것에 대한 의견

  1. 출시 통과 기준(필수 FAIL 0건, 필수 95% 이상, 개인정보·보안 100%): 기준 자체는 맞다고 봅니다. 47개 기준 95%는 45개 이상이라, FAIL 2건과 PARTIAL 1~2개(회원 1개, 비회원 2개)를 고치면 닿습니다. PARTIAL을 몇 개까지 허용할지도 기준에 적어 두는 게 좋겠습니다.
  2. 개인정보·보안 100%: 충족합니다. 다만 「고객센터 전화번호」를 개인정보로 막는 반대 방향 오류가 있어 함께 고쳐야 합니다.
  3. 판정 범위: 조건을 넣었다 빼는 조작, 요일만 바꾸기, 줄임말·초성·영어 문장, 지금 없는 제도(포인트)는 판정에서 빼는 것으로 정리하면 좋겠습니다. 이번 재정리가 그 기준입니다.
  4. 다양한 검색어 테스트를 출시 판단에 함께 쓰는 것을 제안합니다. 실제 고객 말투에 가장 가깝고, 정의서의 「머지 전 비교」(대화 재생)에 이 검색어 세트를 더하면 PR마다 다시 확인할 수 있습니다. 목표(예: 90%)는 협의가 필요합니다.
  5. 경계 항목: N-04는 필수로 두는 게 맞다고 봅니다. 「우럭도 잡힙니까?」에 주꾸미 조과를 보여 주는 건 은행 앱 수준에서도 오답입니다. 올리면 필수 FAIL이 1건 늘어납니다. N-15 목포역 이동과 N-03 요약·정리는 지금도 통과합니다.
  6. 범위 밖 항목의 출시 시 동작: 대부분 지켜집니다. 「주변 정보 세부 조건」은 「조건은 업체에 확인해 주세요」 문구가 아직 없고 애견 카페는 목록도 나오지 않아서, 승인 전에 이 두 가지를 넣어야 합니다.
  7. 운영 AI 키·한도: 이번 테스트 범위 밖입니다. 참고로 회원 계정 하나로 돌려도 한도 문구는 나오지 않았습니다.