요약
- 오후에 재배포된 개발 서버 /ai를 오전과 같은 질문으로 다시 돌렸습니다. 다양한 검색어 89개, 정의서 케이스 74개(판정 65개), 페르소나 20명(433턴)을 회원·비회원으로 각각 보냈습니다. 판정 기준은 오전과 같습니다. 오전 보고서 원문은 오전 결과에 그대로 두었습니다.
- 가장 큰 변화는 처리 방식입니다. 오전에는 대부분 규칙 답이었는데, 재배포본은 거의 모든 답이 AI 처리로 나옵니다. 비회원의 「로그인하면 더 자유롭게…」 막힘(37턴), 「제가 이해하지 못했어요」(27턴), 잡담 답(30턴)은 모두 0이 됐습니다.
- 다양한 검색어는 좋아졌습니다. 비회원 75.3% → 85.4%(76/89), 회원 75.3% → 86.5%(77/89).
- 정의서 필수 항목은 조금 내려갔습니다. 비회원 87.2% → 85.1%(40/47), 회원 89.4% → 85.1%(40/47). FAIL은 2건에서 3건이 됐습니다(오늘 날짜, 해운대 항구, 근처 횟집). 개인정보·보안은 100%(2/2)를 유지합니다.
- 페르소나 턴 통과율은 비회원 61.6% → 64.7%, 회원 68.8% → 65.2%입니다. 회원 계정이 오전과 달라서(내 예약 184건 → 3건) 회원 비교는 참고로 봐 주세요.
- 고쳐진 것: 고객센터 전화번호, 쭈꾸미 시즌, 제일 싼 배(가격순), 더 싼 배, 이번 달 남은 주말, 오타 쭈구미·인쳔, 무창포·오천항 갑오징어, 남은 자리 질문(C48), 주문진 주차장(C30).
- 새로 생긴 문제:
- 주변 정보 질문에서 「찜질방」「애견호텔」「단체 숙소」「차박」「횟집」「끝나고」 같은 말을 지명으로 읽고, 그 뒤 날씨·물때까지 엉뚱한 지역 기준으로 답함
- 대안 배를 보여 준 뒤의 주변·날씨·조과 답이 고객이 말한 지역이 아니라 대안 배의 지역(충남 서천군 등) 기준으로 나옴
- 「오늘이 며칠이에요?」에 「날짜는 확인해 드릴 수 없어요」, 「서울에서 KTX 타고 가면 시간 맞을까요?」에 「낚시 질문만 도와드릴 수 있어요」
- 그대로 남은 것: 대부도·평택 지역 누락, 크리스마스 날짜, 「다른 지역도 보여줘」, 출항 시각·탑승 시간 상투 답, 취소 방법이 없는 환불 답, 「찾았어요」 뒤 「조건에 맞는 상품이 없어요」(C01).
- 같은 날 저녁 GPT 평가(다른 페르소나 20명, 25턴 대화)를 함께 넣었습니다. GPT가 고칠 것으로 꼽은 6건(좌석 부족 안내, 고른 배가 요금 계산에서 바뀜, 월간 재검색에 남는 요일 조건, 대여 견적 누락, 민물 준비물에 선상 안내, 쿠폰 상품 요청을 개인정보로 막음)은 비회원으로 같은 첫 질문을 보내 6건 모두 재현했습니다. GPT의 회원 평균 점수는 58.3점(GPT 직전 평가 55.2점)입니다.
- 두 평가를 합친 수정 우선순위는 아래 「수정 우선순위(두 평가 통합)」에 정리했습니다.
오전과 재배포 비교
| 기준 | 오전 비회원 | 오전 회원 | 재배포 비회원 | 재배포 회원 |
|---|---|---|---|---|
| 다양한 검색어 PASS | 67/89 (75.3%) | 67/89 (75.3%) | 76/89 (85.4%) | 77/89 (86.5%) |
| 다양한 검색어 PARTIAL / FAIL | 13 / 9 | 13 / 9 | 7 / 6 | 6 / 6 |
| 정의서 필수 PASS | 41/47 (87.2%) | 42/47 (89.4%) | 40/47 (85.1%) | 40/47 (85.1%) |
| 정의서 필수 FAIL | 2 | 2 | 3 | 3 |
| 개인정보·보안 | 2/2 | 2/2 | 2/2 | 2/2 |
| 선택 PASS | 13/18 (72.2%) | 13/18 (72.2%) | 11/18 (61.1%) | 11/18 (61.1%) |
| 페르소나 턴 통과율 | 61.6% (255/414) | 68.8% (285/414) | 64.7% (268/414) | 65.2% (270/414) |
| AI 처리 비율 | 다양한 검색어 118턴 중 4턴 | 같음 | 거의 전부 | 거의 전부 |
| 응답 시간 중간값 | 규칙 0.08초, AI 1.2초 | 같음 | 0.5~1.2초 | 0.7~1.2초 |
수정 우선순위(두 평가 통합)
예약·요금 정보가 틀리거나 정의서 필수 항목이 FAIL인 것을 P0, 답은 틀리지만 고객이 다시 물어 바로잡을 수 있는 것을 P1, 불편하지만 막히지는 않는 것을 P2로 나눴습니다. 「발견」은 처음 찾은 평가, 「재현」은 이번에 비회원으로 같은 첫 질문을 보내 다시 확인한 결과입니다. 고칠 곳은 코드를 보지 않고 추정한 것입니다.
| 순위 | 문제 | 발견 | 재현 | 고칠 곳(추정) |
|---|---|---|---|---|
| P0-1 | 남은 자리가 일행보다 적은 배를 보여 주면서 「일행 4명이 타도 출항 인원이 채워져요」라고 안내함 | GPT M06 | 재현 | 서버 답 문구, 카드 문구 |
| P0-2 | 고른 배가 요금 계산에서 다른 배로 바뀜(쿠로미호 → 헬로키티호). 「토요일 쿠로미호로 할게요」가 다음 주 토요일 검색으로 바뀜 | GPT M01 | 재현 | 서버 대화 맥락(선택 상품·날짜) |
| P0-3 | 주변 정보 질문의 일반 단어(찜질방·애견호텔·단체 숙소·차박·횟집)를 지명으로 읽고, 뒤이은 날씨·물때까지 엉뚱한 지역으로 답함 | Claude | - | 서버 주변 정보 해석 |
| P0-4 | 대안 배를 보여 준 뒤 주변·날씨·조과 답이 고객이 말한 지역 대신 대안 배 지역(충남 서천군) 기준 | Claude | - | 서버 대화 맥락(지역) |
| P0-5 | 정의서 필수 FAIL 3건: 오늘 날짜(C15), 해운대 항구(C31), 근처 횟집(C33) | Claude | - | 서버 |
| P1-1 | 개인정보가 아닌 요청을 개인정보로 막음: 「결제 전에 쿠폰 확인할 예약 상품 보여주세요」, 「아들한테 예약 내용 보내주고 싶어요」 | GPT M05, Claude | 재현 | 서버 의도 분류 |
| P1-2 | 「금요일만」 같은 앞 조건이 월 전체 재검색에도 남음 | GPT M02 | 재현 | 서버 조건 관리 |
| P1-3 | 「12세트 대여료까지 합한 금액」을 물었는데 선비 예산(1인 12만원 × 20명)만 답함 | GPT M07 | 재현 | 서버 요금 답 |
| P1-4 | 민물낚시터 대화에서 집에서 챙길 물건을 물었는데 「선상 낚시 기본 준비물」 | GPT M12 | 재현 | 서버 대화 맥락(낚시 유형) |
| P1-5 | 엉뚱한 질문에 주차장 목록, 질문과 다른 정해진 문구(봉돌·지그 규격, 휠체어 안내) | Claude | - | 서버 의도 분류 |
| P1-6 | 「그럼 우럭으로요」「토요일 그대로요」가 「무엇을 이어서 볼까요?」에서 멈춤 | Claude | - | 서버 조건 변경 해석 |
| P1-7 | 말한 지역·날짜가 빠짐(대부도, 평택, 크리스마스, 서울에서 가까운) | Claude | - | 서버 사전·조건 해석 |
| P2-1 | 출항·귀항 시각: 같은 쿠로미호에 대해 GPT 대화에서는 01:05 출항·02:02 귀항을 답했고, 「출항 시간이 언제예요?」「아침 몇 시에 나가요?」에는 「예약 정보에 나와 있지 않아요」 | Claude, GPT | - | 서버 답 문구(데이터는 있음) |
| P2-2 | 취소 방법·환불 기간이 없는 환불 답, 비회원 답마다 붙는 로그인 안내, 30턴 뒤 조건을 다시 입력 | Claude | - | 서버, 화면 |
테스트 방법
오전 테스트와 같은 질문 세트를 재배포된 서버에 다시 보냈습니다. 배포는 하지 않았고 평가만 했습니다.
| 구분 | 내용 | 규모 |
|---|---|---|
| 다양한 검색어 | 실제 고객이 쓸 법한 검색어 98개. 줄임말·초성·영어 9개는 판정에서 뺌(오타는 포함). 회원·비회원 각 1회, 매번 새 대화 | 89개 판정 × 2 |
| 정의서 케이스 | 정의서 확인 문장과 필수 범위 표 예시 문장. 회원·비회원 각 2회. 드문 조작·포인트와 영어·줄임말·초성 9개는 판정에서 뺌 | 74개 중 65개 판정(필수 47, 선택 18) |
| 페르소나(참고) | 손님 20명. 회원·비회원 각 1회 | 433턴 × 2 |
- 판정 기준은 오전과 같습니다. 고객이 원하는 답이면 PASS, 조건 하나가 말없이 빠지거나 한 번 더 물어야 하면 PARTIAL, 엉뚱한 답·날짜 오류·조건 둘 이상 누락이면 FAIL입니다. 정의서 항목은 2회 중 더 나쁜 결과를 씁니다.
- 회원 계정이 오전과 다릅니다. 이번 계정은 내 예약이 3건이라 「최근 예약」 답(C53)이 「최근 예약 3건이에요」로 나왔습니다. 쿠폰 문구도 「지금 가진 쿠폰은 아래 「내 쿠폰 보기」에서」로 회원용이 나왔습니다.
- 페르소나는 오전 보고서의 100점 점수를 다시 매기지 않고, 같은 기준으로 다시 셀 수 있는 턴 통과율(PASS 턴 ÷ 판정 턴 414개)로 비교했습니다. 회원 오전 판정은 기록이 남아 있어 손님별로 비교했고, 비회원 오전은 보고서 합계(필수 209턴 + 선택 46턴)만 썼습니다. 비회원은 오전과 답이 같은 턴은 오전 판정을 그대로 쓰고, 답이 바뀐 261턴을 새로 판정했습니다. 회원은 재배포 비회원과 답이 같은 턴은 그 판정을 쓰고, 다른 108턴을 새로 판정했습니다.
- 안정성: 오류·빈 응답·AI 한도 문구는 0건입니다. 같은 대화에 메시지 두 개를 동시에 보내면 두 번째는 429(BUSY)로 거절되는 것을 다시 확인했습니다. 31번째 턴은 화면에 「대화가 길어져 새 대화로 시작해 주세요.」가 떠서 PASS로 봤습니다.
다양한 검색어 테스트
| 유형 | 개수 | 오전 PASS | 재배포 비회원 PASS / PARTIAL / FAIL | 재배포 회원 PASS |
|---|---|---|---|---|
| 기본 검색 | 25 | 21 | 23 / 1 / 1 | 23 |
| 자연어 검색 | 19 | 15 | 16 / 0 / 3 | 16 |
| 오타 | 2 | 0 | 2 / 0 / 0 | 2 |
| 검색 뒤 후속 질문 | 20 | 12 | 14 / 4 / 2 | 15 |
| 정보·규정 | 15 | 12 | 14 / 1 / 0 | 14 |
| 주변 정보 | 8 | 7 | 7 / 1 / 0 | 7 |
| 합계 | 89 | 67 (75.3%) | 76 (85.4%) / 7 / 6 | 77 (86.5%) |
회원·비회원 판정이 갈린 건 「숙소도 추천해 줘」 한 개입니다. 회원은 직전 배의 항구(인천 강화군) 근처 숙소를 보여 줬고, 비회원은 「어느 동네 숙소를 찾아 드릴까요?」로 되물었습니다.
오전 대비 고쳐진 것
- 「고객센터 전화번호」: 「어바웃피싱 고객센터 전화번호는 02-722-0365예요(평일 09:00 - 18:00)」. 오전에는 개인정보 거절이었음
- 「쭈꾸미 시즌 언제예요?」: 시즌 안내로 답함. 다만 「주꾸미은 4월·9월·10월·11월이 제철」처럼 조사가 틀림(「주꾸미는」)
- 「제일 싼 배」: 1인 가격이 낮은 순으로 보여 줌
- 「더 싼 배 있어요?」: 「이 조건에서 예약할 수 있는 배는 1척이라 이 배가 가장 싸요」
- 「이번 달 남은 주말 중 자리 있는 날」: 11월 21~29일 중 주말 4일로 찾음
- 오타 「쭈구미 배」, 「인쳔 우럭」: 주꾸미, 인천으로 읽음
- 「무창포 갑오징어」, 「오천항 갑오징어 주말에 4명」: 갑오징어 조건을 유지하고 「무창포에는 갑오징어 배가 없어서 가까운 다른 지역에서」로 안내
- 검색 뒤 「근처 주차장 있어요?」: 직전 배의 항구(인천 강화군) 기준으로 찾음
- 「제주 도두항 근처 카페」: 배 목록 대신 근처 가게 목록이 나옴(PARTIAL, 아래 7번)
FAIL·PARTIAL 목록 (고객 영향 순)
- 말한 지역·날짜가 말없이 빠짐 — FAIL 3, PARTIAL 1 (오전부터 남음 3, 새로 생김 1)
- 이슈 발생 절차: 새 대화에서 「대부도 배낚시」, 「크리스마스에 배낚시」, 「서울에서 가까운 배낚시」, 「평택 주꾸미 배」
- 발생된 이슈: 대부도·크리스마스·서울에서 가까운은 모두 「지역을 정하지 않으셔서 전국 기준으로 찾았어요. 11월 21일(토), 11월 22일(일) 조건으로…」. 평택은 지역 없이 주꾸미만으로 전국 검색
- 기대 결과: 대부도·평택은 그 지역으로, 크리스마스는 12월 25일로 찾는다. 「서울에서 가까운」은 수도권 출항지(인천·시흥·안산·화성)로 찾는다. 오전에는 「서울에서 가까운 배낚시」가 PASS였음
- 「갑오징어 어디가 잘 나와요?」에 내륙 지명 — FAIL (오전 PARTIAL)
- 발생된 이슈: 「갑오징어 최근 조과예요. 최근 많이 잡힌 곳: 서울특별시 종로구, 히타카츠항(대마도), 대전광역시 서구」
- 기대 결과: 바다 조과 기준으로 갑오징어가 많이 올라온 지역을 보여 준다. 조과 위치가 내륙이면 제외한다
- 검색 뒤 「근처 맛집」에 주차장을 되물음 — FAIL (새로 생김)
- 이슈 발생 절차: 「인천 쭈꾸미 다음 주 토요일 2명」 → 「근처 맛집 알려줘」
- 발생된 이슈: 「인천은 넓어서 한 곳을 정해야 정확해요. 어느 동네 주차장을 찾아 드릴까요?」. 맛집을 물었는데 주차장이고, 같은 흐름의 「근처 주차장」은 강화군으로 바로 찾음
- 기대 결과: 직전 배의 항구 근처 식당을 보여 준다
- 「다른 지역도 보여줘」에 같은 결과 — FAIL (오전부터 남음)
- 발생된 이슈: 「앞에서 말씀하신 인천·주꾸미·2명 조건으로 찾았어요」와 같은 배 1척
- 기대 결과: 지역 조건을 풀어 다시 찾는다
- 출항 시각·탑승 시간을 알 수 없음 — PARTIAL 2 (출항 시간은 오전 FAIL에서 PARTIAL)
- 「출항 시간이 언제예요?」, 「몇 시간 타요?」 모두 「쿠로미호 기준으로 안내해 드릴게요. 말씀하신 내용은 예약 정보에 나와 있지 않아 지금 확인할 수 없어요.」
- 기대 결과: 상품 정보의 출항·귀항 시각을 답하거나, 배 상세의 어디서 보는지 알려 준다
- 취소·환불 질문에 취소 방법이 없음 — PARTIAL 2 (오전부터 남음)
- 「취소하면 환불 돼요?」, 「예약 취소는 어떻게 해요?」 모두 「취소·환불 기준은 배와 상품마다 달라요. 예약하려는 배 상세 화면의 「취소·환불 규정」에서 정확한 기준을 확인해 주세요.」
- 기대 결과: 예약 취소를 어디서 누르는지, 기본 취소 기준과 환불 소요 기간을 함께 알려 준다. 확인 위치를 알려 주는 건 오전보다 나아짐
- 「도두항 근처 카페」에 「카페 식당 6곳」 — PARTIAL
- 발생된 이슈: 「제주 도두항 근처 카페 식당 6곳이에요」. 카페인지 식당인지 알 수 없음. 「태안 신진도 근처 식당」도 비회원은 「태안 신진도 근처 신진도 식당 6곳」처럼 지명이 겹침
- 기대 결과: 카페를 지원하지 않으면 그렇다고 알리고 식당·숙소를 칩으로 준다
- 검색 뒤 「숙소도 추천해 줘」에 동네를 되물음 — PARTIAL, 비회원만
판정에서 뺀 9개(줄임말·초성·영어)는 참고로 남깁니다. 영어 2개는 오전에는 잡담 답이었는데 이번에는 날짜는 읽고 지역·어종을 뺐습니다. 「갑오징어 오천 담주」는 오천이 빠졌습니다.
정의서 필수 항목 결과
판정에서 뺀 8개(C08·C10·C11·C12·C24·C50·C51·C52)는 오전과 같습니다. 남은 47개 결과입니다. 회원·비회원 결과가 같습니다.
| 기준 | 오전 비회원 | 오전 회원 | 재배포(회원·비회원 같음) |
|---|---|---|---|
| 필수 PASS | 41/47 (87.2%) | 42/47 (89.4%) | 40/47 (85.1%) |
| PARTIAL | C01, C27, C30, C46 | C01, C30, C46 | C01, C34, C44, C46 |
| FAIL | C31, C48 | C31, C48 | C15, C31, C33 |
| 개인정보·보안 | 2/2 | 2/2 | 2/2 |
| 기능 | 케이스 | 오전 비회원 / 회원 | 재배포 | 걸린 항목 |
|---|---|---|---|---|
| 조건으로 배 찾기 | 2 | 1 / 1 | 1 | C01 PARTIAL |
| 날짜 해석 | 8 | 8 / 8 | 7 | C15 FAIL(새로 생김) |
| 조건 바꾸기·빼기·유지 | 9 | 9 / 9 | 9 | 없음 |
| 날씨·물때 | 4 | 3 / 4 | 4 | 없음(C27 고쳐짐) |
| 주변 정보 | 5 | 3 / 3 | 2 | C31 FAIL, C33 FAIL(새로 생김), C34 PARTIAL(새로 생김). C30 고쳐짐 |
| 정해진 규정 안내 | 12 | 11 / 11 | 10 | C44 PARTIAL(새로 생김), C46 PARTIAL |
| 요금·자리 계산 | 3 | 2 / 2 | 3 | 없음(C48 고쳐짐) |
| 개인정보·보안 | 2 | 2 / 2 | 2 | 없음 |
| 상담 연결·한도 | 2 | 2 / 2 | 2 | 없음 |
| 합계 | 47 | 41 / 42 | 40 (85.1%) | FAIL 3 |
오전 대비 고쳐진 것
- C48 남은 자리: 「3자리만 남은 배면 네 명은 못 타죠?」에 「쿠로미호는 남은 자리가 10석이에요. 4명이면 함께 예약할 수 있어요.」
- C30 주차장: 「주문진 수산시장 근처 주차장 6곳이에요」
- C27 파도 예보: 2회 모두 「날씨 예보는 11월 25일(수)까지만 볼 수 있어서 11월 28일(토)은 물때만 보여 드려요」
FAIL·PARTIAL 목록 (위험도 순)
- 「오늘이 며칠이에요?」에 날짜를 알려 주지 않음 — FAIL, 새로 생김 (C15)
- 이슈 발생 절차: 「태안 우럭 다음 주 토요일 2명」 → 「오늘이 며칠이에요?」
- 발생된 이슈: 「죄송하지만 오늘 날짜는 제가 확인해 드릴 수 없어요. 기기 화면의 날짜를 확인해 주시면 감사하겠습니다.」(2회 모두)
- 기대 결과: 「오늘은 11월 19일(목)이에요」. 서버는 날짜를 알고 있고 「다음 주 토요일」도 11월 28일로 바르게 읽음
- 「해운대에서 가까운 항구」에 관광 명소 — FAIL (C31, 오전에도 FAIL)
- 발생된 이슈: 새 대화 첫 턴에 「해운대 근처 관광 명소 6곳이에요」. 오전에는 「지역을 정하지 않으셔서 전국 기준」이었음
- 기대 결과: 해운대(부산) 근처 항구나 출항지를 보여 주고, 못 찾으면 못 찾았다고 알린다. 페르소나 R11 회원 대화에서는 「기장, 송정, 민락 등 주변 항구」로 맞게 답함
- 「근처 횟집 알려줘」에 주차장 — FAIL, 새로 생김 (C33)
- 이슈 발생 절차: 「부산 고등어 2명」 → 「갈치 or 고등어?」 → 「근처 횟집 알려줘」
- 발생된 이슈: 비회원 「횟집 근처 주차장 6곳이에요」(횟집을 지명으로 읽음), 회원 「충남 서천군 근처 주차장 6곳이에요」(대안 배의 지역 기준)
- 기대 결과: 고객이 말한 부산(또는 직전 배 항구) 근처 횟집·식당을 보여 준다
- 「주차 돼요?」가 대안 배 지역 기준 — PARTIAL, 새로 생김 (C34)
- 이슈 발생 절차: 「오천항 갑오징어 다음 주 토요일」 → 「주차 돼요?」
- 발생된 이슈: 「충남 서천군 근처 주차장 6곳이에요」. 고객은 오천항(보령)을 말했음
- 기대 결과: 오천항 근처 주차장을 보여 주거나, 대안 배 항구 기준이면 그렇다고 밝힌다
- 「출항 확정은 누구에게 확인하면 되나요?」에 최소 출항 인원부터 답함 — PARTIAL, 새로 생김 (C44)
- 발생된 이슈: 「쿠로미호의 최소 출항 인원은 예약 정보에 나와 있지 않아요. 최소 출항 인원은 배마다 달라요…」로 시작하고, 묻는 답(「출항 확정은 예약을 진행한 뒤 선장님이 해요」)은 뒤에 나옴
- 기대 결과: 「출항 확정은 선장님(선사)이 하고, 확정되면 알림으로 알려 드려요」를 첫 문장으로 쓴다
- 출항 시각 질문에 같은 상투 답 — PARTIAL (C46, 오전부터 남음)
- 「찾았어요」 다음에 「조건에 맞는 상품이 없어요」 — PARTIAL (C01, 선택 O01도 같음, 오전부터 남음)
- 발생된 이슈: 「…배 1척을 찾았어요. … 남은 자리 많은 1척에는 5시간 이내 조건에 맞는 상품이 없어요. 조건을 빼고 찾은 배를 보여 드려요」
- 기대 결과: 첫 문장부터 「5시간 이내 상품은 없어요. 시간 조건을 빼면 1척이 있어요」 순서로 알린다
선택 항목 결과
18개 중 11개(61.1%)가 PASS로, 오전 13개보다 2개 줄었습니다. 회원·비회원 결과가 같습니다.
| 케이스 | 오전 | 재배포 | 재배포 답 |
|---|---|---|---|
| O15 「우럭도 잡힙니까?」(경계 N-04) | FAIL | PASS | 우럭 어종 안내로 답함. 오전에는 주꾸미 조과와 내륙 지명 |
| O09 「거제 애견호텔 있어요?」 | PARTIAL | PASS | 「거제 근처 애견호텔 5곳… 반려견 동반 가능 여부와 크기 제한은 업체마다 달라요」 |
| O03 「목포역에서 항구까지 얼마나 걸려요?」(경계 N-15) | PASS | FAIL | 「충남 태안군 근처 주차장 6곳이에요」 |
| O10 「항구 근처 애견 동반 카페 있어요?」 | FAIL | FAIL | 거제를 말했는데 「인천 강화군 근처 주차장 6곳이에요」 |
| O11 「근처 단체 숙소요」 | PARTIAL | FAIL | 「단체 숙소 근처 숙소 6곳이에요」(단체 숙소를 지명으로 읽음) |
| O04 「선크림 필요해요? 겨울인데」, O05 「옷은 뭐 입어요? 춥나요?」 | PASS | PARTIAL | 두 질문 모두 같은 「주꾸미 출조 준비물」 카드. 카드 안에 자외선 차단제·방수 겉옷은 있지만 질문에 직접 답하지 않음 |
| O07 「지그 몇 그램 써요?」 | PASS | PARTIAL | 「봉돌·에기·지그 규격은 그날 물살과 수심에 맞춰 배마다 정해 둬요」. 페르소나 R07 회원 대화에서는 「수심(m)만큼의 그램(g)에서 시작」으로 구체적으로 답함 |
| O01 「2시간 정도 짧은 체험」 | PARTIAL | PARTIAL | C01과 같은 모순 문구 |
| 나머지 O06·O08·O12·O13·O14·O16·O17·O18·O19 | PASS | PASS | 잡은 쭈꾸미 운반, 쿨러, 미끼, 밤배 추위, 서울 출발 가까운 곳, 요약·정리, 긴 대화 조건 유지 |
경계 항목 N-04는 이번에 통과했고, N-15(목포역 이동)는 새로 실패했습니다.
페르소나별 결과
참고: 페르소나 대화에는 요일만 바꾸기, 조건 넣었다 빼기, 영어 문장이 섞여 있어 출시 판단은 위의 다양한 검색어와 정의서 필수 항목으로 했습니다.
턴 통과율은 비회원 61.6% → 64.7%로 올랐고, 회원은 68.8% → 65.2%로 내려갔습니다. 비회원이 오른 건 막힘·잡담 답이 사라지고 자유 질문(승선명부, 사진 찍기 좋은 시간, 에기 색깔, 좌대와 배낚시 차이, 볼락 밤낚시)에 AI가 답하기 시작했기 때문입니다. 반대로 주변 정보·날씨에서 엉뚱한 지역을 쓰는 답이 늘어 회원은 내려갔습니다.
| 손님 | 재배포 비회원 | 재배포 회원 | 오전 회원 | 재배포에서 달라진 점 |
|---|---|---|---|---|
| R01 한서윤(22), 동아리 8명 총무 | 74% | 70% | 78% | 「그럼 우럭으로요」가 비회원은 「무엇을 이어서 볼까요?」에서 멈춤. 「잡은 우럭 회 떠주는 곳」을 가게 이름으로 읽어 「식당 정보를 찾지 못했어요」 |
| R02 정민재(31), 신혼부부 여수 | 74% | 78% | 74% | 「4일 금요일」에 11월 20일과 12월 4일을 함께 찾는 문제가 그대로. 채비 질문에 회원은 대여 안내, 비회원은 봉돌·지그 규격 답 |
| R03 오정숙(67), 제주 은퇴 부부 | 71% | 67% | 57% | 「목요일이 날씨 더 좋으면」에 날씨를 보여 줌. 「요금은 둘이 얼마예요?」에 인원을 다시 물음. 「아들한테 예약 내용 보내주고 싶어요」에 개인정보 거절 |
| R04 최강민(36), 목포 야간 갈치 | 68% | 68% | 91% | 오전에 가장 매끄러웠는데 가장 많이 내려감. 「KTX 타고 가면 시간 맞을까요?」에 「낚시 질문만 도와드릴 수 있어요」. 「찜질방도 괜찮아요」 뒤 날씨·물때가 인천 기준으로 나옴 |
| R05 김태우(40), 아빠와 두 아들 | 67% | 71% | 71% | 「끝나고 아이들이랑 갈 만한 곳」에 비회원은 「끝나고 근처 주차장」, 회원은 키즈카페. 비회원은 「4명 총 얼마예요?」에 예산을 되물음 |
| R06 이지원(38), 휠체어 아버지 동반 | 77% | 77% | 86% | 「미리 선사에 휠체어 얘기하려면 어떻게 해요?」에 출조 계획 요약 카드(비회원)나 예약 방법(회원) |
| R07 박준혁(29), 낚시 유튜버 | 52% | 57% | 60% | 비회원은 「지깅 장비」「짐 실을 공간」「전기·배터리」에 모두 봉돌·지그 규격 답. 회원은 지그 그램·PE 호수에 구체적으로 답함 |
| R08 문성호(51), 원거리 우럭 숙련자 | 60% | 60% | 75% | 「아니 토요일로 다시」가 한 주 뒤(12월 5일)로 감. 짧은 말투는 그대로 잘 알아들음 |
| R09 윤서진(34), 날짜 유연한 갑오징어 | 75% | 85% | 75% | 회원은 「오천항이나 무창포요」를 두 곳 모두 읽고 「시즌 언제까지」에 시즌으로 답함. 「제일 싼 날은?」은 「앞과 같은 결과」 |
| R10 강예린(27), 처음 타는 여성 2인 | 55% | 50% | 75% | 「끝나고 카페 갈 만한 곳」에 비회원은 주차장, 회원은 「인천 서해구 근처 카페 식당」(없는 지명). 회원은 「아 일요일로 할게요」가 반영 안 됨 |
| R11 존 밀러(35), 외국인 관광객 | 40% | 40% | 55% | 「해운대에서 가까운 항구」에 비회원은 주차장, 회원은 기장·송정·민락 안내. 지하철·시장 질문이 대안 배 지역(충남 서천군) 기준 |
| R12 유지혜(33), 반려견 동반 부부 | 48% | 62% | 67% | 비회원은 「애견호텔」을 지명으로 읽어 멀미약·주차 질문까지 「애견호텔 근처」로 답함. 회원은 애견호텔 목록과 조건 확인 안내가 정상 |
| R13 배상훈(45), 회사 워크숍 20명 | 64% | 59% | 59% | 「회식할 횟집, 20명 단체석」에 회원은 「통영 근처 주차장」, 비회원은 「식당 정보를 찾지 못했어요」. 「단체 숙소」를 지명으로 읽음 |
| R14 노준서(24), 줄임말 대학생 | 58% | 58% | 61% | 「인쳔 말고 오이도도 돼?」가 반영 안 되고 회원은 지역 조건을 아예 뺌. 날씨가 「전북 기준」으로 나옴 |
| R15 신미경(41), 결정을 자주 바꾸는 엄마 | 86% | 81% | 76% | 「서울 출발이면 어디가 제일 가까워요?」에 비회원은 수도권 출항지 안내, 회원은 「보령 근처 주차장」. 「처음부터 다시 정리해 주세요」에 「아직 정한 조건이 없어요」 |
| R16 장동민(38), 최저가 찾는 혼출 | 60% | 55% | 53% | 「가장 싼 곳 하나만」에 「이 배가 가장 싸요」로 답함. 「수도권에서요」는 「앞과 같은 결과」 |
| R17 황보은(36), 예약 변경·취소 고객 | 85% | 85% | 75% | 「다음 주 토요일로요」「예약번호는 모르겠어요」「선장님한테 직접 연락」이 오전의 잡담·개인정보 거절·이해 못함에서 맞는 방향의 답으로 바뀜. 환불 질문 5개는 여전히 「배와 상품마다 달라요」 |
| R18 권태식(48), 동해 대구 지깅 | 45% | 45% | 55% | 「항구 근처에 차박 가능한 데」를 지명으로 읽어 파도 예보가 제주 기준. 「주문진 수산시장 몇 시까지 해요?」에 서천군 주차장 |
| R19 서지아(39), 좌대·낚시터와 헷갈리는 고객 | 74% | 74% | 79% | 좌대 안내는 일관됨. 「다음 주 토요일 3명」에 실내낚시터 안내가 다시 나오고, 「식사 배달돼요?」에 서천군 식당 |
| R20 민경호(52), 지난번에 불만이 있던 고객 | 58% | 58% | 58% | 「이번엔 확실히 출항하는 배로」에 「어느 배를 말씀하시는지 모르겠어요」, 「출항률 높은 배는요?」에 「앞과 같은 결과」 |
| 합계 | 64.7% | 65.2% | 68.8% | 오전 비회원 61.6% |
고객이 느낄 불편
다양한 검색어 89개와 페르소나 대화(모드마다 433턴)에서 센 빈도입니다. 예약 전환에 직접 영향을 주는 순서로 적었고, 고칠 곳은 코드를 보지 않고 추정한 것입니다. 조건을 넣었다 빼는 조작, 줄임말·초성·영어 문장, 포인트 질문은 순위에서 뺐습니다. GPT 저녁 평가에서 나온 6건은 아래 「GPT 저녁 평가와 재현 결과」에 따로 적었고, 두 평가를 합친 순서는 위 「수정 우선순위(두 평가 통합)」를 따릅니다.
- 주변 정보 질문의 일반 단어를 지명으로 읽음 (새로 생김)
- 빈도: 페르소나·케이스에서 「찜질방」「애견호텔」「단체 숙소」「차박」「횟집」「끝나고」「회 말고요」「잡은 우럭 회 떠주는 곳」「20명 단체석」 등 비회원 12턴 이상
- 고객이 겪는 일: 「들어와서 잘 곳 근처에 있어요? 찜질방도 괜찮아요」에 「찜질방 근처 숙소 6곳」이 나오고, 그 뒤 「그날 날씨는요?」에 「찜질방 근처 바다는 인천 기준으로 찾았어요」가 나옴(목포 갈치를 찾던 고객). 한 번 잘못 읽으면 다음 질문까지 틀린 지역이 이어짐
- 개선 제안: 숙소·식당 종류나 조건을 나타내는 단어는 장소 이름이 아니라 업종·조건으로 처리한다. 장소를 못 찾으면 직전 배의 항구를 쓰고, 그것도 없으면 되묻는다. 주변 정보 질문이 날씨·검색 지역을 바꾸지 않게 한다
- 고칠 곳(추정): 서버 주변 정보 질문 해석
- 대안 배를 보여 준 뒤 다른 답이 대안 배의 지역을 씀 (새로 생김)
- 빈도: 페르소나 비회원 8턴, 케이스 C34(2회 모두)·C33(회원)
- 고객이 겪는 일: 오천항·부산·거제를 말했는데 「주차 돼요?」「지하철 타고 갈 수 있어요?」「요즘 거제에서 뭐 잡혀요?」에 「충남 서천군 근처…」「충남 서천군 근처 바다는 전북 기준으로…」가 나옴. 고객은 왜 서천이 나오는지 알 수 없음
- 개선 제안: 주변·날씨·조과는 고객이 말한 지역을 먼저 쓴다. 대안 배 항구 기준으로 답할 때는 「보여 드린 ○○호의 항구(서천) 근처예요」처럼 기준을 밝힌다
- 고칠 곳(추정): 서버 대화 맥락(지역) 관리
- 말한 지역·날짜가 말없이 빠지거나 엉뚱한 조건으로 찾음 (남음)
- 빈도: 다양한 검색어 4개(대부도, 평택, 크리스마스, 서울에서 가까운). 오전 7개에서 줄었지만 「서울에서 가까운」이 새로 빠짐
- 고객이 겪는 일: 「지역을 정하지 않으셔서」라는 문구가 고객 탓처럼 읽히고, 크리스마스는 이번 주말 배를 보게 됨
- 개선 제안: 지명 사전(대부도·평택)과 특정일(크리스마스·연말), 「서울에서 가까운」 같은 표현을 보강한다. 읽지 못한 단어가 있으면 빼지 말고 되묻는다
- 엉뚱한 질문에 주차장 목록이 나옴 (늘어남)
- 빈도: 비회원 페르소나 9턴(버스·지하철·해운대 항구·회 먹을 시장·애견 카페·차박·수산시장 영업시간·「끝나고」 2턴), 케이스 3개(C33·O03 목포역·O10 애견 카페), 다양한 검색어 1개(근처 맛집)
- 개선 제안: 주차장은 「주차」라는 말이 있을 때만 보여 준다. 분류가 애매하면 AI 답이나 되묻기로 넘긴다
- 질문과 다른 정해진 문구가 나옴 (일부 새로 생김)
- 빈도: 비회원 페르소나 기준 10턴 이상
- 예: 장비·짐·전기 질문에 「봉돌·에기·지그 규격은 배마다 정해 둬요」(6턴), 외국인 승선명부·지하철 질문에 「휠체어 탑승이나 거동이 불편한 분의 승선 가능 여부는…」, 휠체어를 선사에 미리 알리는 방법에 「출조 계획 요약이에요」, 드론 질문에 동승자 요금 안내
- 같은 질문에 회원은 맞는 답이 나온 경우가 많음(지그 그램, PE 호수, 채비 대여)
- 개선 제안: 정해진 문구는 질문의 핵심 단어가 맞을 때만 쓰고, 아니면 AI 답으로 넘긴다
- 날짜·이동 같은 기본 질문을 거절함 (새로 생김)
- 「오늘이 며칠이에요?」에 「날짜는 확인해 드릴 수 없어요」(C15), 「서울에서 KTX 타고 가면 시간 맞을까요?」에 「낚시에 관한 질문만 도와드릴 수 있어요」, 「아들한테 예약 내용 보내주고 싶어요」에 「개인정보는 조회할 수 없어요」
- 개선 제안: 오늘 날짜는 서버 날짜로 답한다. 이동·교통은 「정확한 시간은 길찾기로 확인해 주세요」 정도로 받아 주고, 예약 공유는 내 예약 화면에서 공유하는 방법을 알려 준다
- 짧은 확정 말이 「무엇을 이어서 볼까요?」에서 멈춤 (새로 생김)
- 「그럼 우럭으로요」, 「토요일 그대로요」, 「아니요 토요일 그대로 할게요」에 「무엇을 이어서 볼까요? 아래에서 골라 주세요.」(회원·비회원 합쳐 3턴). 「요금은 둘이 얼마예요?」에 「몇 명이 가시는지 알려 주시면」, 「4명 총 얼마예요?」에 「예산을 금액으로 알려 주시면」
- 개선 제안: 어종·인원·「그대로」가 들어간 짧은 말은 조건 변경·유지로 처리한다. 「둘이」「4명」은 인원으로 읽는다
- 출항·귀항 시각, 탑승 시간을 알 수 없음 (남음)
- 빈도: 다양한 검색어 2개, 케이스 C46, 페르소나 여러 턴
- 개선 제안: 상품 데이터의 출항·귀항 시각을 답에 넣는다. 없으면 배 상세의 확인 위치를 알려 준다
- 취소 방법을 알려 주지 않음 (남음, 일부 나아짐)
- 「배 상세 화면의 「취소·환불 규정」에서 확인해 주세요」로 확인 위치는 생김. 예약한 뒤 어디서 취소하는지, 환불이 언제 되는지는 여전히 없음
- 개선 제안: 취소 방법(내 예약 → 예약 상세 → 취소), 결제 약관의 기본 기준, 환불 소요 기간을 한 답에 넣는다. 문구는 약관 기준표와 대조해 기획이 확정해야 함
- 「앞과 같은 결과예요」 반복 (줄어듦)
- 페르소나 비회원·회원 각 5턴(오전 6턴·7턴). 「수도권에서요」「제일 싼 날은?」「배 두 척으로 나눠도 돼요」「출항률 높은 배는요?」 등
- 비회원 답 끝에 로그인 안내가 반복됨 (새로 생김, 가벼움)
- 비회원 답 51턴 끝에 「로그인하시면 내 예약과 쿠폰도 여기서 바로 확인할 수 있어요」가 붙음. 거절 답(「낚시 질문만 도와드릴 수 있어요」) 뒤에도 붙음
- 개선 제안: 대화당 한 번만 붙이거나, 내 예약·쿠폰과 관련된 질문에만 붙인다
- 30턴에서 대화가 끊기면 조건을 다시 입력해야 함 (남음)
응답 속도는 불편 요인이 아니었습니다. 모든 답이 AI 처리로 바뀌었지만 중간값은 0.5~1.2초, 상위 10%는 1.4~1.7초입니다. 가장 긴 답은 비회원 8.2초, 회원 6.4초로 오전(6.6초)보다 조금 길었습니다.
오전 대비 사라진 불편
- 비회원 막힘: 「로그인하면 더 자유롭게…」 37턴 → 0턴, 「제가 이해하지 못했어요」 27턴 → 0턴
- 조건을 말했는데 잡담 답(「낚시 이야기라면 언제든 좋아요!」): 비회원 30턴 → 0턴
- 「고객센터 전화번호」 개인정보 거절, 「제일 싼 배」 남은 자리 순, 「쭈꾸미 시즌」 배 목록
- 오타(쭈구미·인쳔), 무창포·오천항 갑오징어 누락
- 남은 자리 질문에 최소 출항 인원 답(C48)
GPT 저녁 평가와 재현 결과
같은 날 저녁(KST) GPT가 개발 서버 SONA를 따로 평가한 결과입니다. 페르소나가 제 테스트(R01~R20)와 다른 세트(M01~M20)이고, 한 대화에 25턴씩 이어서 물었습니다.
| 구분 | 내용 |
|---|---|
| 규모 | 회원 20개 대화 500턴 완료. 비회원은 197턴에서 Chrome 연결이 끊겨 303턴이 남았고, 비회원 점수는 보류 |
| 점수 방식 | 대표 과업 3개 각 20점, 조건 유지 2개 각 12.5점, 응답 안정성 15점. PASS 전점, PARTIAL 절반, FAIL 0점 |
| 회원 점수 | 평균 58.3점(GPT 직전 평가 55.2점). 가장 높은 대화는 M06 제주 가족 77.5점, M02 인천·충남 갑오징어 75점. 가장 낮은 대화는 M12 수원 민물낚시터 25점, M09 포항 방어 지깅·M18 경기 남부 붕어 낚시터 37.5점 |
| 응답 시간 | 화면에 답이 처음 보인 시각 기준(여러 방 동시 실행 지연 포함). 회원 중앙값 1.41초, 상위 10% 2.75초, 최장 8.21초. 회원 첫 선박 검색 중앙값 5.60초(상위 10% 7.91초). 비회원 중앙값 1.45초, 첫 선박 검색 2.68초 |
| 개선 확인 | M03에서 장비를 가져오는 4명을 포함해 승선 6명 × 300원 = 1,800원으로 계산하고 대여료는 선사 확인으로 안내. M01에서 쿠로미호 01:05 출항·02:02 귀항 제시. 회원 상품 상세가 /ai?boat=19&resDt=2026-11-21(11월 21일 쿠로미호)로 연결 |
점수 방식이 달라 GPT 점수(100점)와 제 턴 통과율은 직접 비교하지 않았습니다. 회원 첫 선박 검색 5.6초는 제가 API 응답 시간으로 잰 값(회원 다양한 검색어 중앙값 1.15초)과 차이가 커서, 화면 표시 단계에서 늦어지는지 동시 실행 영향인지 개발 쪽 확인이 필요합니다.
GPT가 꼽은 수정 항목과 재현 결과
재현은 GPT 대화의 첫 질문과 문제 턴의 질문을 그대로 쓰고 중간 턴을 줄여, 비회원으로 새 대화에서 보냈습니다. 회원은 재현 시점에 로그아웃 상태여서 다시 보지 못했습니다.
| GPT 항목 | GPT 근거 | 재현 질문 | 재현 답 | 결과 |
|---|---|---|---|---|
| P0 좌석 부족 상품의 문구와 버튼 불일치 | M06 T25. 3석 배에 「일행 4명이 타도 출항 인원이 채워져요」 | 「11월 29일 제주에서 어른 둘, 8살과 11살 아이랑…」 → 「우리 조건에 맞아 예약할 수 있는 상품이 실제로 있나요?」 | 「4명 자리가 남은 배는 없어서 인원 조건을 빼고 찾았어요… 마멜호는 2명이 모여야 출항해요. 지금 0명 예약, 일행 4명이 타도 출항 인원이 채워져요.」 | 재현. 한 답 안에서 자리가 없다는 말과 4명이 타면 출항한다는 말이 함께 나옴 |
| P0 요금 계산에서 고른 배 유지 | M01 T05. 쿠로미호를 골랐는데 헬로키티호 선비로 계산 | 「이번 주말 인천에서 혼자 타기 좋은 배…」 → 「토요일 쿠로미호로 할게요」 → 「장비 없이 가면 현장에서 따로 드는 돈이 얼마쯤이에요?」 | 2턴에서 쿠로미호를 고르지 않고 날짜만 11월 28일(다음 주 토요일)로 바꿔 2척을 다시 보여 줌. 3턴은 「선비 헬로키티호 1인 2,000원 × 1명」 | 재현. 날짜까지 한 주 뒤로 바뀜 |
| P1 월간 재검색에서 앞 요일 조건 해제 | M02 T21. 첫 질문을 반복했는데 금요일 두 날짜로 줄어듦 | 첫 질문 → 「인천이랑 충남 결과를 비교해 주세요」 → 「금요일만 보면요?」 → 첫 질문 반복 | 반복한 질문에 「11월 20일(금), 11월 27일(금)」로 검색. 비교 요청은 3척 모두 남은 자리와 함께 보여 줌 | 재현(요일 조건이 남음). 비교 요청에서 충남만 남는 현상은 재현 안 됨 |
| P1 선비 예산과 대여 견적 분리 | M07 T09. 12세트 대여료를 물었는데 선비 예산만 답함 | 첫 질문 → 「한 사람 12만원 안쪽이면 좋겠어요」 → 「열두 세트 대여료까지 합한 금액은 확정이에요?」 | 「1인 120,000원 × 20명 = 총 2,400,000원이에요. 배 요금은 1인 120,000원 이하로 찾아 드릴게요.」 | 재현. 대여료와 확정 여부에 대한 답이 없음 |
| P1 민물 준비물에 선상 안내 | M12 T19. 민물낚시터 준비물에 승선명부·멀미약 | 「수원 근처에서 오후에 가볼 만한 민물낚시터…」 → 「저희가 집에서 챙겨갈 물건만 말해줘요.」 | 첫 답은 「요청하지 않은 배낚시로 바꾸지 않을게요」로 맞게 안내. 둘째 답은 「선상 낚시 기본 준비물이에요」 | 재현 |
| P1 쿠폰 상품 요청을 개인정보로 차단 | M05 T25 | 「12월 첫째 주 주말 통영 문어 낚시 3명, 한 사람 12만원 안에서…」 → 「결제 전에 쿠폰 확인할 예약 상품 보여주세요.」 | 「죄송해요, 개인정보는 조회할 수 없어요.」 | 재현. 첫 답의 조건 문장에서 1인 12만원 예산도 빠짐 |
두 평가가 맞는 부분과 다른 부분
- 개인정보 오차단은 두 평가 모두에서 나왔습니다(쿠폰 상품 요청, 아들에게 예약 내용 보내기). 개인정보 거절은 남의 정보를 물을 때만 내도록 분류를 좁혀야 합니다.
- 남은 자리 답은 절반만 고쳐졌습니다. 자리가 충분한 경우(C48, 10석에 4명)는 맞게 답하지만, 자리가 모자란 경우(GPT M06, 3석에 4명)는 틀린 안내가 나옵니다.
- 대화 맥락 유지가 두 평가의 공통 약점입니다. 고른 배(GPT M01), 앞 요일 조건(GPT M02), 낚시 유형(GPT M12), 고객이 말한 지역(제 테스트의 대안 배 지역 문제)이 다음 질문으로 제대로 넘어가지 않습니다.
- 출항 시각은 데이터가 있습니다. GPT 대화에서는 쿠로미호 01:05 출항·02:02 귀항을 답했는데, 제 테스트의 「출항 시간이 언제예요?」에는 같은 쿠로미호에 「예약 정보에 나와 있지 않아요」가 나왔습니다. 묻는 말에 따라 답이 갈리므로 같은 데이터로 답하게 맞추면 됩니다.
- GPT 평가에서 확인되지 않은 것: 배포 커밋, 실제 재고·대여료, 모델 호출 경로, 비회원 303턴. 제 재현에서 확인하지 못한 것: 회원 화면(회원 쿠폰 화면, 상품 상세 연결).
QA 7차 판정과의 차이, 정해야 할 것에 대한 의견
| 기준 | QA 7차(11/18) | 오전(11/19) | 재배포(11/19 오후) |
|---|---|---|---|
| 필수 통과율 회원 | 94.1% (48/51) | 89.4% (42/47) | 85.1% (40/47) |
| 필수 통과율 비회원 | 91.8% (45/49) | 87.2% (41/47) | 85.1% (40/47) |
| 필수 FAIL | 0 / 0 | 2 / 2 | 3 / 3 |
| 선택 통과율 | 73.7% | 72.2% | 61.1% |
| 다양한 검색어 | 재지 않음 | 75.3% | 비회원 85.4%, 회원 86.5% |
| 페르소나 턴 통과율 | - | 비회원 61.6%, 회원 68.8% | 비회원 64.7%, 회원 65.2% |
재배포본은 처음 묻는 검색과 자유 질문에는 확실히 나아졌고, 대화가 이어질 때의 주변 정보·지역 유지에서 새 오류가 생겼습니다. 필수 항목 기준으로는 오전보다 1~2개 내려가 출시 기준에 아직 닿지 않습니다.
정해야 할 것에 대한 의견
- 출시 통과 기준(필수 FAIL 0건, 필수 95% 이상, 개인정보·보안 100%): 47개 기준 95%는 45개 이상입니다. 지금 40개라 FAIL 3건(C15 오늘 날짜, C31 해운대 항구, C33 근처 횟집)과 PARTIAL 4개 중 2개 이상을 고쳐야 합니다. C33·C34는 위 불편 1·2번(일반 단어를 지명으로 읽음, 대안 배 지역을 씀)을 고치면 함께 풀릴 가능성이 큽니다.
- 재배포 전후 비교를 PR마다 하는 것을 제안합니다. 이번처럼 한 번에 많은 답이 AI 처리로 바뀌면 좋아진 곳과 나빠진 곳이 함께 생깁니다. 정의서의 「머지 전 비교」에 다양한 검색어 89개와 정의서 케이스 65개를 넣어 돌리면, 오늘 생긴 C15·C33·C34·C44 같은 후퇴를 머지 전에 잡을 수 있습니다.
- 개인정보·보안 100%는 유지됩니다. 다만 「아들한테 예약 내용 보내주고 싶어요」를 개인정보로 막는 반대 방향 오류가 새로 보였습니다.
- 판정 범위는 오전 정리를 유지합니다(조건 넣었다 빼기, 요일만 바꾸기, 줄임말·초성·영어, 포인트는 판정에서 뺌).
- 경계 항목: N-04(「우럭도 잡힙니까?」)는 이번에 통과했고, N-15(목포역 이동)는 「충남 태안군 근처 주차장」으로 새로 실패했습니다. N-15를 필수로 올리면 필수 FAIL이 1건 늘어납니다.
- 회원 계정이 오전과 달라 회원 페르소나 비교는 참고로만 봐 주세요. 내 예약·쿠폰과 관계없는 턴이 대부분이라 차이의 대부분은 재배포 때문으로 보지만, 같은 계정으로 다시 확인하면 더 정확합니다.
- GPT 저녁 평가의 P0 2건(좌석 부족 안내, 고른 배가 요금 계산에서 바뀜)은 정의서 필수 항목에 없지만 예약과 결제 금액을 틀리게 안내하는 문제라, 출시 전에 필수와 같은 무게로 고치는 것이 맞다고 봅니다.