요약
- 11/20 오전에 바뀐 개발판(dev-www.aboutfishing.kr/ai)을 운영판(aboutfishing-ai.pages.dev)과 같은 질문으로 돌려 비교했습니다. 개발판(비회원)과 운영판에 각각 544턴을 보냈습니다.
- 질문 구성은 두 가지입니다. 11/17 대조 때 쓴 페르소나 19명(383턴)은 조건을 넣었다 빼거나 요일만 바꾸는 턴, 영어·줄임말 턴을 빼고 썼습니다. 여기에 새로 만든 다양한 질문 161턴을 더했습니다. 페르소나 12명이 한 대화에서 각각 8~11개씩 묻고, 새 대화로 단발 질문 48개를 따로 보냈습니다.
- 개발판 결과는 544턴 중 FAIL 약 90턴, PARTIAL 약 65턴입니다. 나머지 약 390턴은 고객이 원하는 답이 나왔습니다.
- 개발판에서 틀린 턴 93개를 운영판의 같은 턴과 맞대 봤습니다. 운영판이 맞게 답한 턴이 67개(72%), 둘 다 약한 턴이 23개입니다. 나머지 3개는 운영판 답이 다 뜨기 전에 기록돼 비교에서 뺐습니다. 운영판에서는 되는데 개발판에서 안 되는 것이 대부분이라, 운영판 동작을 기준으로 맞추면 많은 부분이 해결됩니다.
- 가장 큰 원인은 두 가지로 보입니다. 하나는 질문을 키워드로 분류해 정해진 답을 먼저 내보내는 구조가 아직 남아 있는 것입니다. 이 때문에 질문과 다른 정해진 답이 나옵니다(예: 「에기 몇 호」 → 봉돌 규격 안내). 다른 하나는 대화 맥락에서 날짜와 배를 이어받는 처리입니다(예: 「토요일이요」 → 다음 주 토요일).
- 고칠 순서: P0 날짜·인원·요금(4건) → P1 질문과 다른 답(10건) → P2 개선(7건). 각 항목에 입력, 개발판 답, 운영판 답, 기대하는 답을 그대로 적었습니다.
| 구분 | 건수 | 내용 |
|---|---|---|
| P0 | 4 | 날짜가 다음 주로 넘어감, 다음 달 날짜 오류, 인원 오인식, 같은 배 요금이 턴마다 다름 |
| P1 | 10 | 정해진 답 오적용, 서비스 질문 거절, 조과 답 오류, 챔피언십→축제, 맥락 놓침, 먼 지역을 가까운 지역이라 함, 시즌 질문, 조건 무시, 민물·좌대, 문장 잘림·중복 |
| P2 | 7 | 로그인 안내 반복, 출항 시각, 취소 규정 답 불일치, 총비용 질문, 주차 재질문, 스토어 가격 조건, 문구 |
테스트 방법
| 항목 | 내용 |
|---|---|
| 대상 | 개발판 dev-www.aboutfishing.kr/ai (11/20 오전 변경본, 비회원) / 운영판 aboutfishing-ai.pages.dev |
| 페르소나 | 11/17 대조 시나리오 20명 464턴에서 81턴을 뺀 19명 383턴. 줄임말 위주 손님 1명(24턴)은 통째로 뺐고, 조건 넣었다 빼기·요일만 바꾸기·같은 조건 반복·영어 턴 57개를 뺐습니다. |
| 다양한 질문 | 처음 타는 직장인, 아이 동반 가족, 오천항 단골, 여수 커플, 회사 단체 10명, 60대, 제주 방어 원정, 민물·낚시카페, 부산·동해 밤낚시, 오타가 많은 손님, 날씨·안전 걱정, 예약·결제·취소 문의 12명의 대화 113턴 + 단발 질문 48개 |
| 판정 | 고객이 원하는 답이면 PASS, 일부만 답하거나 한 번 더 물어야 하면 PARTIAL, 엉뚱한 답·날짜/인원 오류·조건 누락이면 FAIL. 오타는 판정에 넣고 줄임말·영어·초성·포인트는 뺐습니다. |
| 비교 | 개발판은 테스트 데이터, 운영판은 운영 데이터라 배 이름·가격은 비교하지 않았습니다. 질문을 이해했는지, 조건을 지켰는지, 맞는 정보를 줬는지만 비교했습니다. |
| 날짜 기준 | 오늘 11/20(금). 이번 주말 = 11/21(토)·22(일), 다음 주 토요일 = 11/28, 다음 달 첫째 주 토요일 = 12/5 |
P0 — 날짜·인원·요금이 틀림
예약 조건이 틀린 채로 배를 보여 주고, 이어지는 물때·날씨·금액·정리까지 같이 틀리는 문제입니다.
P0-1 「토요일이요」를 다음 주 토요일로 잡음
이번 주말(11/21~22)을 보던 중에 「토요일이요」라고 하면 11/21이 아니라 11/28로 찾습니다. 다음 주말(11/28~29)을 보던 중이면 12/5로 넘어갑니다. 이번 조사에서 페르소나 5명에게서 나왔고, 오전 재현(X02, C12)까지 합치면 7번입니다.
| 재현(같은 대화) | 개발판 답 | 운영판 답 |
|---|---|---|
| 「안녕하세요 이번 주말에 여자친구랑 쭈꾸미 낚시 가보려고요」 → 「둘 다 처음이에요…」 → 「충남 쪽이…」 → 「오천항으로 볼게요. 토요일 2명」 | 「오천항에는 11월 28일(토) 주꾸미 배가 없어서… 조건을 바꿨어요: 날짜 11월 21일(토), 11월 22일(일) → 11월 28일(토)」 | 11/21(토) 오천항 쭈꾸미 배 3척 |
| 「이번 주말 오천항 쭈꾸미 2명이요」 → 「토요일이요」 | 「오천항에는 11월 28일(토) 주꾸미 배가 없어서…」 | 11/21(토) 오천항 3척 |
| 「남해 참돔 타이라바 배 찾고 있어요」 → 「통영이나 거제 쪽이요」 → 「이번 주말 1명」 → 「토요일이요」 | 「통영·거제에는 11월 28일(토) 참돔 배가 없어서…」 | 11/21(토)로 검색 |
| 「…그럼 쭈꾸미로요. 이번 주말에 친구랑 둘이요」 → 「토요일이요」 | 「인천 · 11월 28일(토) · 주꾸미 · 2명…」 | 11/21(토) 인천 6척 |
| 「다음 주말에 가족끼리… 어른 2명, 아이 2명」 → 「태안 쪽으로…」 → (중략) → 「토요일로 볼게요」 | 「태안에는 12월 5일(토) 배가 없어서 가까운 다른 지역에서 찾았어요」 → 마지막 정리도 「태안 · 12월 5일(토) · 4명」 | 11/21(토)로 검색(운영판도 틀림, 정답 11/28) |
- 이어지는 피해: 날짜가 넘어간 뒤 「날씨는 괜찮을까요?」에 「11월 28일(토)은 물때만 보여 드려요(예보는 11/26까지)」라고 답하고, 「출조까지 며칠 남았어요?」에는 날짜를 모른다고 합니다.
- 기대: 대화에 날짜 범위가 있으면 그 안의 토요일을 고릅니다(이번 주말 → 11/21, 다음 주말 → 11/28). 범위가 없으면 가장 가까운 토요일을 고릅니다. 날짜를 바꿀 때는 「11월 21일(토)로 볼게요」처럼 바뀐 날짜를 답 첫 줄에 보여 줍니다.
P0-2 「다음 달 첫째 주」「다음 달 중순」 날짜 오류
| 재현 | 개발판 답 | 운영판 답 |
|---|---|---|
| (충남·4명 대화 중) 「다음 달 첫째 주 토요일에 4명 자리 있는 배 보여주세요」 | 「충남 · 11월 28일(토) · 4명…」(12/5여야 함) | 「조건에 맞는 상품을 확인하지 못했어요」(날짜 표시 없음) |
| (여수 대화 중) 「다음 달 중순 주말에 여수 2명 배 있어요?」 | 「여수에는 없어서 가까운 다른 지역…」 12월 5일 충남 서천 초원호(중순 아님) | 「일요일·토요일 조건에 맞는 배와 상품을 정확히 확인하지 못했어요」 |
- 같은 날 다른 대화에서 「다음 달 첫째 주 토요일이요. 12월 5일」처럼 날짜를 함께 쓰면 12/5로 잘 잡습니다. 「다음 달」 해석만 틀립니다.
- 기대: 다음 달 첫째 주 토요일 = 12/5, 다음 달 중순 주말 = 12/12~13 또는 12/19~20(중순 범위 안 주말 전부).
P0-3 「아이 둘이랑 남편까지 4명이서」를 2명으로 읽음
| 재현(새 대화 첫 질문) | 개발판 답 | 운영판 답 |
|---|---|---|
| 「아이 둘(7살, 10살)이랑 남편까지 4명이서 배낚시 가능할까요?」 | 「지역을 정하지 않으셔서 전국 기준으로 찾았어요. 11월 21일(토), 11월 22일(일) · 2명 조건으로…」 | 「4명 자리가 있는 배는 찾았어요. 다만 아이 7살·10살이 타도 되는지는 선사 확인이 필요해요」 |
- 「둘」을 인원으로 먼저 잡고 「4명이서」를 버린 것으로 보입니다. 다음 턴에서 「충남에서…」라고 하면 「인원 2명 → 4명」으로 고쳐지지만, 첫 답의 카드와 총액은 2명 기준입니다.
- 기대: 「N명이서」「총 N명」처럼 인원을 직접 말한 숫자를 우선합니다.
P0-4 같은 배 요금이 턴마다 다름
| 재현(같은 대화) | 개발판 답 |
|---|---|
| 「이번 주말 오천항 쭈꾸미 2명이요」 → 「토요일이요」 → … → 「대여 장비 3명분 얼마예요?」 | 카드에는 「초원호 … 1인 300원」, 계산 답에는 「선비 초원호 1인 100,000원 × 3명 = 300,000원」 |
| 「부산 이번 토요일 3명」 → 「초원호 자세히」 | 목록 카드 300, 상세 카드 100000 |
- 초원호에 상품이 2개(300원, 100,000원)라서 생기는 것으로 보입니다. 다만 고객 입장에서는 같은 배가 300원이었다가 10만원이 됩니다. 11/17 QA 문서의 ISSUE-02와 같은 증상입니다.
- 운영판은 「돌고래호 — 장비 대여 있음(유료)… 확인되지 않은 대여료·미끼 값은 0원으로 치지 않았어요」처럼 상품 기준을 밝힙니다.
- 기대: 카드·상세·금액 계산이 같은 상품을 기준으로 하고, 상품이 여러 개면 「최저가 상품(○○) 기준」처럼 어느 상품인지 함께 보여 줍니다.
P1 — 질문과 다른 답
P1-1 질문과 다른 정해진 답이 나옴 (약 35턴)
키워드가 비슷하면 다른 질문용 정해진 답을 그대로 내보냅니다. 운영판은 같은 질문에 대부분 맞게 답합니다.
| 질문 | 개발판 답(정해진 답) | 운영판 답 |
|---|---|---|
| 「에기는 몇 호를 많이 써요?」 | 「봉돌·에기·지그 규격은 그날 물살과 수심에 맞춰 배마다 정해 둬요… 「봉돌 몇 호 쓰나요」라고 물어보시면 돼요」 | 「갑오징어 에기 2.5~3.5호에 봉돌 10~20호를 많이 써요」 |
| 「타이라바 몇 그램 쓰면 돼요?」「지그 몇 그램 써요?」「합사 몇 호요?」「다운샷 채비 몇 호 써요?」 | 위와 같은 봉돌 답 | 타이라바: 「보통 80~100g… 로이스호는 타이라바 세트 80g이 추천 채비」 |
| 「배에서 술 마셔도 돼요?」 | 「식사·간식 제공 여부는 상품마다 달라요…」 | 「확인하지 못했어요. 선사마다 규칙이 다를 수 있어서… 연락처로 먼저 물어봐 주세요」 |
| 「결제는 카드만 돼요? 계좌이체도 돼요?」「예약하면 바로 확정이에요?」「전화로 예약할 수 있어요?」「무통장 입금 됩니까」「카드 할부 돼요?」「아들한테 대신 예약하라고 할 수 있습니까」「4명 정보 다 입력해야 해요?」「예약 확정은 언제 돼요?」「예약할 때 뭐 필요해요? 신분증?」「예약 내역은 어디서 봐요?」 | 모두 「예약은 배 카드를 눌러 상세 화면에서 날짜·상품·인원을 고른 뒤 「예약하기」를 누르면…」 같은 문장 | 전화: 선사 번호 안내(「킹덤호 0507-876-5038…」) / 아들: 「아드님이 가입하고 로그인하면 대신 예약할 수 있어요」 / 확정: 「예약 접수와 실제 출항은 별개」 / 예약 내역: 「마이페이지 › 예약 내역」 |
| 「의자가 있습니까. 오래 서 있기 힘듭니다」「낚시 끝나고 씻을 수 있는 곳 있어요?」 | 화장실·선실 안내 | 의자: 「선사 안내에는 의자가 표시돼 있지 않아요. 편의시설에는 화장실·구명조끼…만」 |
| 「구명조끼 아이 사이즈 있어요?」「바다가 처음이라 무서운데 큰 배가 있어요?」 | 선상 낚시 안전 수칙 목록 | 「소아용이 있는지는 배마다 달라요. 선사에 미리 물어보시고 없다고 하면 아동용을 챙겨 가세요」 / 「배 크기(톤수·정원)는 조회 결과에 없어서…」 |
| 「법인카드 결제 가능해요?」 | 세금계산서·현금영수증 안내 | 「법인카드로 결제되는지는 확인되지 않아요. 예약 화면의 결제 수단 안내를 확인해 주세요」 |
| 「제 장비 가져가도 되죠? 짐이 많은데 실을 수 있나요?」 | 장비 대여 안내 | 준비물 카드(운영판도 약함) |
| 「방어 잡으면 택배로 보낼 수 있어요?」 | 가져가기·손질 안내 | 「택배는 확인하지 못했어요. 선사에 먼저 물어보세요. 항구 근처 택배 접수처나 수산시장도…」 |
| 「좌대 낚시가 뭐예요?」 | 「바다낚시터의 실시간 빈자리·입장료·방갈로 재고는… 확인할 수 없어요」 | 「좌대는 바다나 저수지 위에 띄워 둔 고정 낚시터예요… 좌대 요금은 한 칸 요금이에요」 |
| 「멀미약 영어로 뭐라고 해요?」 | 멀미 줄이는 방법 | 멀미 줄이는 방법(운영판도 틀림) |
- 기대: 정해진 답은 질문이 그 답과 정확히 맞을 때만 씁니다. 애매하면 Claude가 상품·선사 정보를 보고 답하게 합니다. 모르는 것은 운영판처럼 「확인하지 못했어요 + 어디서 확인하면 되는지」로 답합니다.
P1-2 서비스 질문을 「낚시에 관한 질문만」으로 거절
| 질문 | 개발판 답 | 운영판 답 |
|---|---|---|
| 「다른 쿠폰이랑 중복 돼요?」 | 「죄송해요, 그 요청은 도와드릴 수 없어요. 조과·물때·날씨·운세…처럼 낚시에 관한 것을 물어봐 주세요.」 | 「아니요, 쿠폰은 결제 1번에 1장만 쓸 수 있어요」 |
| 「영수증 발급 돼요?」 | 「죄송해요, 낚시에 관한 질문만 도와드릴 수 있어요.」 | 「확인하지 못했어요. 결제 뒤 마이페이지 예약 내역에서 확인해 보세요」 |
| 「외국인 카드 결제 돼요?」 | 같은 거절 | 「해외 발급 카드는 확인되지 않아요. 결제 화면에서 확인해 주세요」 |
| 「협찬이나 할인 같은 거 문의할 수 있어요?」 | 같은 거절 | 「어바웃피싱 고객센터를 통해 직접 접수해 주세요」 |
| 「숙소가 제주시인데 서귀포까지 얼마나 걸려요?」 | 같은 거절 | (운영판 기록 누락) |
| 「쭈꾸미 라면 맛있게 끓이는 법」 | 같은 거절(「잡은 우럭으로 뭐 해먹으면 맛있어요?」에는 답함) | (비교 안 함) |
- 기대: 예약·결제·쿠폰·영수증·이동처럼 출조와 이어지는 질문은 거절하지 않습니다. 모르면 고객센터나 결제 화면으로 안내합니다.
P1-3 조과 데이터에 기댄 답이 틀리거나 막힘
| 질문 | 개발판 답 | 운영판 답 |
|---|---|---|
| 「무늬오징어는 어디서 잡아요?」 | 「최근 많이 잡힌 곳: 서울특별시 종로구, 경상남도 함안군, 경상남도 사천시」 | 제주 무늬오징어 배 2척(어신호, 제주왔어호) |
| (제주 갈치 대화 중) 「낮에 하는 건 뭐 잡아요?」 | 「갈치 최근 조과예요. 최근 많이 잡힌 곳: 서울특별시 종로구, 온산, 경상남도 거제시」 | 서귀포 배 목록(운영판도 질문에 직접 답하지는 않음) |
| 「갑오징어 어디가 잘 나와요?」(오전 재현) | 「서울특별시 종로구, 히타카츠항(대마도), 대전광역시 서구」 | (비교 안 함) |
| 「우럭 낚시 하고 싶은데 어디가 좋아요?」 / 「광어 다운샷 어디서 해요?」 | 「아직 우럭 조과가 올라오지 않았어요.」 / 「아직 광어 조과가 올라오지 않았어요.」 | 우럭: 배 4척(사천진항, 오천항, 인천 남항) / 광어: 스토어 상품(운영판도 틀림) |
| 「요즘 참돔 조황 어때요?」 → 「몇 키로급 나와요?」 | 두 번 모두 「전국 최근 90일 회원 조과가 8건 올라왔어요.」 | 「통영 배들이 최근 2주 올린 조황 글 9건… 참돔 3건, 최근 11/18 로이스호」 → 「4짜·5짜가 많이 나왔다고 되어 있어요」 |
| (부산 갈치 대화 중) 「동해안은 겨울에 뭐 잡혀요?」 | 「갈치 최근 조과예요. 최근 많이 잡힌 곳: 온산」 | 「조건에 맞는 상품을 확인하지 못했어요」(운영판도 약함) |
- 「종로구」「함안군」「대전 서구」는 조과를 올린 회원의 주소나 기본 위치로 보입니다.
- 기대: 조과 위치는 항구·해역으로만 보여 주고, 내륙 주소는 뺍니다. 조과가 없으면 「아직 조과가 없어요」로 끝내지 말고 어종 일반 정보와 배 검색으로 이어 줍니다. 조황 질문에는 건수가 아니라 내용(어종, 크기, 마릿수, 날짜)을 요약합니다.
P1-4 어바웃피싱 챔피언십을 물으면 축제로 답함
| 질문(같은 대화) | 개발판 답 | 운영판 답 |
|---|---|---|
| 「어바웃피싱 챔피언십 대회 정보 알려주세요」 → 「언제 어디서 해요?」 → 「참가비 있어요?」 | 세 번 모두 「어느 지역 축제를 볼까요?」 | 「진행 중인 낚시대회는 출조 화면에서 상품명에 [낚시대회]로 표시돼요. 신청도 그 상품을 예약하는 방식이에요」 |
| 「대회 신청은 어디서 해요?」 | 「대회마다 달라서… 주최 측 공고문을 확인해 보세요」 | 「출조 화면에서 상품명에 [낚시대회]가 붙은 상품을 예약하는 방식이에요」 |
- 기대: 「챔피언십」「대회」는 자사 대회 안내로 보냅니다.
P1-5 대화 맥락을 놓침
| 재현 | 개발판 답 | 운영판 답 |
|---|---|---|
| 「서울 사는데 제일 가까운 데가 어디예요?」 → 「인천이요? 거기서 뭐 잡아요?」 | 「어느 지역의 최근 조황을 볼까요?」 | 인천에서 열린 배의 어종 안내 |
| (태안 가족 대화 중) 「요즘 뭘 잡을 수 있어요?」 | 「어느 지역의 최근 조황을 볼까요?」 | 「태안 주변 60km 최근 30일 회원 조과 4건」과 내용 |
| (궁평항·전곡항 대화 중) 「서울 강남에서 차로 얼마나 걸려요?」 | 「목적지가 빠져 있어요. 낚시 출항지(항구) 이름을 함께 말씀해 주세요」 | 「강남에서 궁평항·전곡항까지는 자료에 없어서… 지도 앱에서」 |
| 「다시 배 얘기요, 아까 추천해 준 배 이름이 뭐였죠?」 | 「지금 조건은 오천항 · 11월 21일(토) · 주꾸미 · 3명이에요」 | 「아까 추천해 드린 배는 씨앤미호예요. 05:30 출항에 1인 90,000원」 |
| (11/28 출조 대화 중) 「그럼 출조까지 며칠 남았어요?」 | 「출조 예약 날짜는 제가 확인할 수 없어서…」 | 「출조일인 11/21(토)까지 하루 남았어요」 |
| (속초·주문진 대구 대화 중) 「12월 첫째 주 일요일 2명」 → 「배 크기 큰 배요」 → 「요금 2명」 | 「속초·주문진 대구 배가 없어서 지역·어종 상관없이 찾았어요」 → 충남 서천 초원호, 요금도 초원호 기준 | 「12/6(일) · 속초·주문진 · 대구 · 2명: 아직 조건에 맞는 상품을 확인하지 못했어요」 |
- 기대: 대화에 나온 지역·날짜·배 이름을 다음 질문에 그대로 씁니다. 조건에 맞는 배가 없을 때 지역과 어종을 둘 다 버리고 다른 도의 배를 보여 주지 않습니다.
P1-6 멀리 떨어진 지역을 「가까운 다른 지역」이라고 안내
| 질문 | 개발판 답 | 운영판 답 |
|---|---|---|
| 「여자친구랑 처음 배낚시 가보려는데 여수 괜찮아요?」 | 「여수에는 없어서 가까운 다른 지역에서 찾았어요」 충남 서천·태안·경기 부천 | 「네, 여수도 배낚시 해 볼 만해요… 국동항 골드로저호 갑오징어, 무료 낚시강습」 |
| 「부산에서 갈치 배 있어요?」 | 「가까운 다른 지역」 충남 태안·경기 성남·인천 | 「부산 · 갈치: 아직 조건에 맞는 상품을 확인하지 못했어요」 |
| 「거제도 감성돔 배 있어요?」 / 「통영 볼락…」 / 「속초 오징어…」 | 경기 성남·오산·인천 / 충남 보령·경기 오산·시흥 / 인천 강화·경기 안성·충남 태안 | 거제 감성돔 3척 / (비교 안 함) / 「속초·강원 오징어 배 못 찾았어요. 날짜나 어종을 바꿔서…」 |
| 「울진이나 포항에서 대구 낚시 하는 배 있어요?」 | 인천 강화·충남 태안 | 구룡포 미르호 |
- 개발판 테스트 데이터에 남해·동해 배가 거의 없어서 크게 드러난 면이 있습니다. 그래도 운영에서 그 지역 배가 없는 날이면 같은 일이 생깁니다.
- 기대: 「가까운」은 같은 권역 안에서만 씁니다. 그 안에 없으면 운영판처럼 「○○에는 지금 열린 배가 없어요. 날짜나 지역을 바꿔 볼까요?」로 묻습니다. 기준 거리는 개발에서 정해 주세요.
P1-7 시즌 질문에 시즌달력 일반 문구
| 질문 | 개발판 답 | 운영판 답 |
|---|---|---|
| 「제주도 방어 지깅 하려고 하는데 언제가 시즌이에요?」 | 「지금은 11월이라 주꾸미, 갑오징어, 우럭, 광어, 삼치, 참돔이 제철이에요. 전국 최근 30일 회원 조과 1건 중 많이 올라온 어종은 붕어 1건이에요…」 | 제주 방어 지깅 배 3척(시즌 설명은 없음) |
| 「대구 시즌이 언제부터예요?」 | 위와 같은 시즌달력 문구 | 「일반적으로 늦가을~겨울, 12월부터 이듬해 2~3월까지가 한창이에요」 |
| 「쭈꾸미 시즌 언제까지애요」 | 위와 같은 시즌달력 문구 | 배 목록(운영판도 약함) |
- 「삼치 낚시 시즌 알려줘요」「한치 낚시는 언제 해요?」처럼 시즌달력에 있는 어종은 「삼치는 11월이 제철」로 잘 답합니다. 방어·대구처럼 달력 문구에 안 잡히는 어종이 문제입니다.
- 기대: 물어본 어종의 시즌을 먼저 답합니다. 「회원 조과 붕어 1건」 같은 관계없는 통계는 뺍니다.
P1-8 말한 조건을 반영하지 않음
| 질문 | 개발판 답 | 운영판 답 |
|---|---|---|
| 「화장실 있고 편하게 앉아서 할 수 있는 배 있나요?」 / 「화장실 있는 배만요」 | 전국 검색, 화장실 조건 언급 없음 / 화장실 일반 안내 | 「화장실이 있는 배는 찾았어요… 앉아서 할 자리는 확인된 정보가 없어서 선사에 확인해 주세요」 / 화장실 있는 배로 다시 찾음 |
| 「쭈꾸미랑 갑오징어 같이 하는 배도 있어요?」 | 「조건을 바꿨어요: 어종 갑오징어 → 주꾸미」 | 「예, 11/28 오천항에 쭈꾸미와 갑오징어를 같이 하는 상품이 있어요. 씨앤미호와 비엔나호…」 |
| 「우럭이나 광어요」 | 광어만 조건 | (비교 안 함) |
| 「사진 많이 올라온 배」「리뷰 좋은 순으로」「해 질 녘에 들어오는 배」「3시간 정도면 좋겠어요」「근처 다른 항구도 같이」「인천이나 충남 중에 추천해 주세요」 | 같은 결과를 다시 보여 주거나 「앞과 같은 결과예요. 바꾸고 싶은 조건이 있으면 말씀해 주세요」 | 일부는 운영판도 약함 |
| 「토요일 일요일 중 어디가 나아요?」(태안 날씨 대화) / 「날씨 좋은 다른 지역 있으면 추천해 주세요」 | 토요일 날씨만 다시 / 태안 일요일 날씨 반복 + 「조건을 뺐어요: 지역(태안)」 | 둘 다 약함 |
- 기대: 거를 수 있는 조건은 거르고, 거를 수 없는 조건이면 「사진·리뷰 순 정렬은 아직 못 해요」처럼 이유를 말한 뒤 지금 결과를 보여 줍니다. 비교를 물으면 두 날짜(지역)를 나란히 보여 줍니다.
P1-9 민물·좌대 질문은 거의 같은 답
민물 붕어 좌대 손님 19턴 가운데 12턴에 아래 문장이 그대로 나왔습니다.
민물낚시터의 실시간 빈자리·입장료·방갈로 재고는 현재 연결된 예약 데이터로 확인할 수 없어요. 이것이 해당 낚시터의 마감이나 예약 불가를 뜻하지는 않아요. 요청하지 않은 배낚시로 바꾸지 않을게요…
- 같은 답이 나온 질문: 「붕어 낚시 좌대 있는 곳 찾고 있어요」「좌대는 1박 하는 거예요?」「실내낚시는 뭐 잡아요?」「지렁이 미끼 파나요?」「안성 쪽 저수지요」 등. 「밥은 어떻게 해요?」에는 「어느 지역 실내낚시터를 찾아 드릴까요?」라고 답했습니다.
- 운영판은 「수원 근처에 실내 낚시카페 있어요?」에 수원 실내낚시터 5곳을 주소·전화번호와 함께 보여 주고, 「좌대 낚시가 뭐예요?」에 뜻을 설명합니다. 다만 「좌대는 1박 하는 거예요?」「실내낚시는 뭐 잡아요?」는 운영판도 틀립니다.
- 기대: 재고 확인 불가 안내는 대화에서 한 번만 하고, 그 뒤 질문(뜻, 어종, 식사, 미끼)은 일반 정보로 답합니다. 장소를 물으면 카카오 장소 검색으로 후보를 보여 줍니다.
P1-10 문장이 잘리거나 같은 문장이 두 번 나옴
| 질문 | 개발판 답 |
|---|---|
| 「회사 워크숍으로 10명이… 배 한 척 통째로 빌릴 수 있어요?」 | 「…앱의 해당 배 상세 화면에서 확인해 로그인하시면 내 예약과 쿠폰도…」(문장 중간에 끊김) |
| 「차가 없어요. 대중교통으로 갈 수 있어요?」 | 「…가까운 터미널이나 역까지 간 뒤 택시를 이용하 로그인하시면…」 |
| 「모슬포항이랑 서귀포 중에 어디가 나아요?」 | 「…더 구체적으로 안내 로그인하시면…」 |
| 「점심 식사 포함되는 배 있어요?」 「동료 한 명이 채식주의자인데 점심 주나요?」 | 「식사·간식 제공 여부는 상품마다 달라요. 상품 안내에 없으면… 식사·간식 제공 여부는 상품마다 달라요. 상품 안내에 없으면…」(두 번) |
| 「낚시 안 하는 사람도 2명 있는데 탑승만 가능해요?」 / 「처음 하는 사람이 대부분인데 선장님이 알려주시나요?」 | 같은 문장 두 번 |
- Claude 답 끝에 로그인 안내를 붙일 때 답 길이를 자르면서 문장이 끊기는 것으로 보입니다. 같은 문장 반복은 정해진 답 두 개가 함께 붙는 경우로 보입니다.
- 기대: 답을 자르지 않고, 같은 문장은 한 번만 보여 줍니다.
P2 — 개선
| ID | 내용 | 재현 | 기대 |
|---|---|---|---|
| P2-1 | 비회원 일반 답마다 같은 로그인 안내가 붙음(40회 넘게) | 「혼자 가도 괜찮을까요?」「우럭이랑 노래미 차이가 뭐예요?」 등 → 끝에 「로그인하시면 내 예약과 쿠폰도 여기서 바로 확인할 수 있어요.」 | 대화에서 한 번만, 예약·쿠폰 이야기가 나왔을 때 보여 줌 |
| P2-2 | 출항 시각을 안 알려 줌 | 「첫 번째 배 출항 시간이 몇 시예요?」 → 「출항 시각과 타는 시간은 그날 물때와 날씨에 따라 달라져요. 선사나 고객센터로 문의해 주세요」 | 운영판처럼 상품의 출항·귀항 시각을 보여 줌(「05:30에 출항해요. 귀항은 15:00」) |
| P2-3 | 취소·환불 답이 서로 다름 | 결항 질문에는 「출항 3일 전까지는 수수료 없이 직접 취소할 수 있어요」, 「출조 3일 전에 취소하면요?」에는 「배와 상품마다 달라요」 / 날짜 변경 답에는 「환불에 3~5영업일」, 「환불은 며칠 걸려요?」에는 「배마다 달라요」 / 「결제했는데 선장님이 취소하면?」에도 「배마다 달라요」 | 같은 규정을 한 곳에서 가져와 같은 답을 함. 선사 취소는 전액 환불로 답함 |
| P2-4 | 총비용 질문을 예산 입력으로 오해 | 「비용은 전부 합쳐서 대충 얼마 들어요?」「둘이서 총 얼마 정도 예상하면 돼요?」 → 「예산을 금액으로 알려 주시면 계산해 드릴게요」 | 보여 준 배 기준으로 총액 계산(운영판: 「골드로저호 1인 70,000원 × 2명 = 140,000원, 쿠폰 쓰면 120,000원」) |
| P2-5 | 기능이 있는데 고객에게 다시 말하라고 함 | 「버스 대절해서 가면 주차 가능해요?」「그 배 주차 돼요?」 → 「「항구 근처 주차장」으로 물으시면 가까운 주차장을 찾아 드려요」 | 바로 그 항구 주차장 검색 결과를 보여 줌 |
| P2-6 | 스토어 가격 조건 무시 | 「쭈꾸미 에기 추천해 줘요」 → 「2만원 이하로요」 → 스토어 이동 버튼만 / 「타이라바 로드」 → 「30만원 이하로요」 → 같은 답 | 가격 조건으로 거른 상품을 보여 줌 |
| P2-7 | 문구 | 「연안부두은 인천 기준으로」(조사), 「핑크·오렌지·chartreuse」(영어), 「갑오징어 요리… 저는 요리법까지는 잘 몰라서 아쉬워요 😊」(다른 요리 질문엔 답함), 11월 옷차림 답에 「여름에도 얇은 긴소매와 우비」, 「6시간 이내 상품은 없어요… 아이와 함께라면 6시간 이하 짧은 상품이 좋아요」 | 조사·용어 정리, 앞뒤 안 맞는 문구 정리 |
잘 된 것
- 「서울 사는데 제일 가까운 데가 어디예요?」 → 인천 남항 약 35km(배 4척), 오이도 약 39km 등 거리와 배 수를 함께 보여 줌
- 「마검포항 토요일 물때」 → 물때 + 바람·파도 + 바다낚시지수 + 출항 취소 가능성 안내
- 「이번 주말 인천 날씨에 배 뜰 수 있어요?」 → 「눈비, 바람 최대 10.3m/s… 바다낚시지수 매우나쁨… 출항이 취소될 수 있으니」
- 오천항 주차장·식당·편의점, 대천해수욕장 횟집, 여수 감성 카페 등 주변 장소 검색
- 「글씨가 작아서 잘 안 보입니다」 → 실제로 글씨를 키움
- 「오늘 출발할 수 있는 배 있어요?」 → 당일 예약 불가 안내 후 내일 배를 보여 줌
- 「주꾸미 하루에 몇 마리까지…」 → 금어기·금지체장을 법령 시행일과 함께 안내
- 「11월 26일 수요일」 → 「11월 26일은 목요일이에요. 어느 날로 찾을까요?」(실제로 목요일이라 맞는 지적)
- 금액 계산에서 「일부 배의 표시 가격이 비정상적으로 낮아 보여요」 경고, 「그 배로 예약할게요」에 「초원호 · 할인호 · 쿠로미호 중에서 골라 주세요」 되묻기
운영판도 약한 것(둘 다 개선 대상)
개발판만의 문제는 아니지만 같이 보면 좋은 것들입니다.
- 「토요일로 볼게요」(다음 주말 대화): 개발 12/5, 운영 11/21, 정답 11/28
- 「다음 달 중순 주말」, 「다음 달 첫째 주 토요일」: 운영판은 날짜를 보여 주지 않고 「확인하지 못했어요」
- 「지그는 몇 그램짜리」「제 장비 가져가도 되죠?」: 운영판은 준비물 카드만
- 「광어 다운샷 어디서 해요?」: 운영판은 스토어 상품을 보여 줌
- 「동해안은 겨울에 뭐 잡혀요?」「쭈꾸미 시즌 언제까지」: 운영판은 시즌을 답하지 않음
- 「멀미약 영어로 뭐라고 해요?」: 둘 다 멀미 줄이는 방법
- 「낚시 끝나고 씻을 수 있는 곳」: 운영판은 출항·귀항 시간 안내
- 「좌대는 1박 하는 거예요?」「실내낚시는 뭐 잡아요?」: 운영판도 숙박 지역 질문, 시즌달력
- 「토요일 일요일 중 어디가 나아요?」「날씨 좋은 다른 지역」: 둘 다 비교·추천 안 함
- 운영판 쪽 군더더기: 질문과 관계없는 답에도 「○○호는 N명이 모여야 출항하는데…」가 앞에 붙음(「에기는 몇 호를 많이 써요?」 등)
개발판 FAIL·PARTIAL 전체 목록
위 항목에 넣지 않은 것까지 모두 적었습니다. 「→」 앞은 고객 입력, 뒤는 개발판 답 요지입니다. 번호는 대화 안의 몇 번째 질문인지입니다.
다양한 질문(12명 대화 + 단발)
- 처음 타는 직장인 9) 「출항 시간이 보통 몇 시예요? 대중교통으로 갈 수 있어요?」 → 물때·날씨 따라 다름, 문의(대중교통 답 없음) PARTIAL
- 처음 타는 직장인 11) 「비용은 전부 합쳐서 대충 얼마 들어요?」 → 「예산을 금액으로 알려 주시면…」 FAIL
- 가족 1) 「아이 둘(7살, 10살)이랑 남편까지 4명이서…」 → 2명 조건 FAIL
- 가족 5) 「아이 요금은 어른이랑 같아요?」 → 1인 기준 일반 문구 PARTIAL
- 가족 7) 「다음 달 첫째 주 토요일에 4명…」 → 11월 28일 FAIL
- 가족 8) 「근처에 아이들이랑 갈 만한 식당도 알려줘요」 → 「서천군 주변 아이 동반 식당 정보를 찾지 못했어요」 PARTIAL
- 오천항 단골 4) 「에기는 몇 호를 많이 써요?」 → 봉돌 정해진 답 FAIL
- 오천항 단골 8) 「쭈꾸미랑 갑오징어 같이 하는 배도 있어요?」 → 어종을 주꾸미로 바꿈 FAIL
- 오천항 단골 9) 「지난주에 많이 잡힌 배 어디예요?」 → 90일 회원 조과 5건 PARTIAL
- 여수 커플 1) 「…여수 괜찮아요?」 → 충남·경기 배 FAIL / 3) 「다음 달 중순 주말…」 → 12/5 충남 FAIL / 9) 「KTX… 항구까지」 → 일반 길찾기 PARTIAL / 10) 「둘이서 총 얼마」 → 예산 입력 요청 FAIL
- 회사 단체 1) 「배 한 척 통째로…」 → 문장 잘림 FAIL / 8) 「배에서 술 마셔도 돼요?」 → 식사 안내 FAIL / 9) 「하루 전에 2명 줄면」 → 취소 규정 정해진 답 PARTIAL / 10) 「버스 대절 주차」 → 다시 말하라고 함 PARTIAL
- 60대 3) 「화장실 있고 편하게 앉아서…」 → 조건 무시 FAIL / 4) 「우럭 낚시… 어디가 좋아요?」 → 조과 없음 FAIL / 8) 「전화로 예약할 수 있어요?」 → 예약 방법 PARTIAL
- 제주 방어 1) 시즌 → 시즌달력 FAIL / 3) 「지그는 몇 그램」 → 봉돌 FAIL / 4) 「제 장비 가져가도…」 → 대여 FAIL / 6) 「택배로 보낼 수 있어요?」 → 가져가기 PARTIAL / 8) 「모슬포항이랑 서귀포」 → 문장 잘림 PARTIAL
- 민물 2) 「수원 근처에 실내 낚시카페」 → 재고 확인 불가 PARTIAL / 4) 「좌대 낚시가 뭐예요?」 → 재고 확인 불가 FAIL / 8) 「송어 낚시 체험」 → 재고 확인 불가 PARTIAL
- 부산·동해 1) 「부산에서 갈치 배」 → 충남·경기·인천 FAIL / 3) 「동해안은 겨울에 뭐 잡혀요?」 → 갈치 조과 온산 FAIL / 6) 「울진이나 포항 대구」 → 인천·충남 FAIL
- 오타 손님 3) 「쭈꾸미 시즌 언제까지애요」 → 시즌달력 PARTIAL
- 예약·결제 2) 「카드만? 계좌이체?」 FAIL / 3) 「바로 확정이에요?」 FAIL / 4) 「며칠 전까지 취소하면 전액 환불?」 → 배마다 달라요 PARTIAL
- 단발: 「광어 다운샷 어디서 해요?」 → 조과 없음 FAIL / 「서해에서 겨울에 뭐 잡혀요?」 → 지역 되물음 PARTIAL / 「무늬오징어는 어디서 잡아요?」 → 종로구·함안군 FAIL / 「거제도 감성돔」「통영 볼락」「속초 오징어」 → 먼 지역 FAIL / 「주꾸미 하루에 몇 마리까지」 → 금어기만 PARTIAL / 「어바웃피싱은 뭐 하는 곳이에요?」 → 사용법 안내 PARTIAL / 「카드 할부 돼요?」 → 예약 방법 FAIL / 「선장님이 불친절했는데 어디에 말해요?」 → 고객센터 번호만 PARTIAL / 「유튜브에서 본 배를 찾고 싶은데 이름이 기억 안 나요」 → 전국 배 5척 나열 FAIL(운영판은 기억나는 단서를 물음) / 「서울에서 차 없이 갈 수 있는 낚싯배」 → 일반론 PARTIAL / 「바다가 처음이라 무서운데 큰 배가 있어요?」 → 안전 수칙 PARTIAL / 「낚시 끝나고 씻을 수 있는 곳」 → 화장실 안내 PARTIAL
페르소나 19명
- 커플 초보(오천항): 4) 「오천항으로 볼게요. 토요일 2명」 → 11/28 FAIL / 6) 출항 시간 → 문의 PARTIAL / 13) 「날씨는 괜찮을까요?」 → 물때만 FAIL / 17) 「예약할 때 뭐 필요해요? 신분증?」 → 예약 방법 FAIL
- 가족(태안): 5) 짧은 배 → 모순 문구 PARTIAL / 7) 「토요일로 볼게요」 → 12/5·충남 서천 FAIL / 8) 아이 구명조끼 → 안전 수칙 FAIL / 11) 아이 멀미약 나이 → 답 없음 PARTIAL / 12) 「요즘 뭘 잡을 수 있어요?」 → 지역 되물음 PARTIAL / 21·22) 당일 취소·한 명만 취소 → 정해진 답 PARTIAL / 24) 정리 → 12/5 FAIL
- 혼자·예산(인천): 5) 대중교통 → 문장 잘림 FAIL / 10) 신규 가입 혜택 → 일반 쿠폰 PARTIAL / 16) 후기 좋은 배 → 조황 6건 PARTIAL
- 단체 12명: 4) 서울 2시간 이내 → 같은 결과 PARTIAL / 5) 「인천이나 충남 중에 추천」 → 「앞과 같은 결과예요」 FAIL / 9·18·21) 같은 문장 두 번 FAIL / 15) 법인카드 → 세금계산서 FAIL / 17) 날씨로 날짜 변경 → 취소 규정 PARTIAL / 20) 단체 횟집 → 동네 되물음 PARTIAL
- 제주 갈치: 6) 「낮에 하는 건 뭐 잡아요?」 → 종로구·온산·거제 FAIL / 9) 「제주시에서 서귀포까지」 → 거절 FAIL / 14) 같은 문장 두 번 PARTIAL / 19) 「한치도 지금 돼요?」 → 어종만 바꿈 PARTIAL
- 65세(군산): 1) 「예약 좀 도와주실 수」 → 예약 방법 PARTIAL / 6·8·16) 전화 예약·무통장·아들 대신 → 예약 방법 FAIL / 15) 의자 → 화장실 FAIL
- 여수 촬영: 1~3) 여수 갑오징어 → 먼 지역 FAIL / 3·4·7·8) 깨끗한 배·사진·노을·리뷰 → 조건 무시 PARTIAL / 10) 협찬 문의 → 거절 FAIL / 14) 화장실 있는 배만 → 거르지 않음 PARTIAL / 17) 요리법 → 모른다고 함 PARTIAL
- 참돔 타이라바: 1·2·10·17) 남해·통영·거제·여수 → 경기·인천 FAIL / 4) 「토요일이요」 → 11/28 FAIL / 5·6) 조황·몇 키로급 → 「회원 조과 8건」 FAIL / 7·16) 타이라바·합사 → 봉돌 FAIL / 9) 「토요일 물때 몇 물」 → 인천 11/28 물때 FAIL / 14) 「30만원 이하로요」 → 스토어 버튼만 PARTIAL
- 화성 반나절: 2) 궁평항·전곡항 → 부천·인천(화성 배 있었음) PARTIAL / 3·6) 오후 출항·3시간 → 같은 결과 PARTIAL / 7) 「강남에서 차로 얼마나」 → 목적지 빠짐 FAIL
- 동해 대구: 3·11·15) 지역·어종 버리고 충남 서천 FAIL / 5) 대구 시즌 → 시즌달력 FAIL / 6) 지그 → 봉돌 FAIL / 7) 「동해는 파도 세죠?」 → 멀미 정해진 답 PARTIAL / 16) 대구 몇 마리 → 가져가기 PARTIAL
- 인원 변경(오천항): 2) 「토요일이요」 → 11/28 FAIL / 6) 근처 다른 항구 → 같은 결과 PARTIAL / 12) 대여 3명분 → 1인 100,000원(카드는 300원) FAIL / 15) 「출조까지 며칠」 → 모른다고 함 FAIL / 16) 정리 → 11/28 FAIL
- 민물 좌대: 19턴 중 12턴 같은 정해진 답 FAIL·PARTIAL / 14) 「밥은 어떻게 해요?」 → 지역 되물음 FAIL / 18) 「비 오면 취소되나요?」 → 배 결항 안내 PARTIAL
- 쿠폰·결제: 1) 여행가는 달 쿠폰 → 일반 쿠폰 PARTIAL / 2) 「언제까지예요?」 → 되묻기 PARTIAL / 4) 쿠폰 중복 → 거절 FAIL / 9) 카드만? → 예약 방법 FAIL / 12·16) 3일 전 취소·환불 기간 → 배마다 달라요(다른 답과 불일치) PARTIAL / 17) 영수증 → 거절 FAIL / 19) 선장님이 취소하면 → 배마다 달라요 FAIL / 20) 예약 내역 위치 → 예약 방법 FAIL
- 챔피언십: 1~3) 대회 정보·언제 어디서·참가비 → 「어느 지역 축제를 볼까요?」 FAIL / 7) 다운샷 채비 → 봉돌 FAIL / 14·15) 신청·상금 → 일반론 FAIL
- 완전 처음: 6) 「인천이요? 거기서 뭐 잡아요?」 → 지역 되물음 FAIL / 9) 「토요일이요」 → 11/28 FAIL
- 외국인 동료: 4) 「서울에서 대중교통으로 갈 수 있는 곳」 → 전국 목록 FAIL / 7) 「우럭이나 광어」 → 광어만 PARTIAL / 8) 외국인 카드 → 거절 FAIL / 9) 채식 점심 → 같은 문장 두 번 PARTIAL / 10) 멀미약 영어 → 멀미 정해진 답 FAIL / 13) 「연안부두은」 조사 오류 PARTIAL
- 긴 복합 질문: 1) 쭈꾸미나 갑오징어·자리·가격·주차 한 번에 → 갑오징어만, 주차 없음 PARTIAL / 5) 횟집이랑 숙소 → 횟집만 PARTIAL / 9) 쿠폰 적용 최종 금액 → 예약 방법 PARTIAL / 11) 항구 근처 vs 대천 숙소 → 목록만 PARTIAL / 16·17) 4명 정보 입력·예약 확정 시점 → 예약 방법 FAIL
- 날씨 걱정(태안): 3) 토·일 비교 → 토요일만 FAIL / 4) 「풍랑주의보 뜨면 무조건 결항?」 → 환불 정해진 답 PARTIAL / 11) 날씨 좋은 지역 추천 → 태안 반복 FAIL / 14) 일출 → 일반론 PARTIAL
- 주제 왕복(오천항): 2) 제일 싼 배 하나 → 목록 반복 PARTIAL / 4) 에기 2만원 이하 → 스토어 버튼만 PARTIAL / 6) 추천한 배 이름 → 조건만 FAIL / 16) 쭈꾸미 라면 → 거절 PARTIAL
다시 돌리는 법
- 질문 세트: 페르소나 19명(조건 왔다갔다 턴 제외본)과 다양한 질문 161턴은 개발판 브라우저 저장소
__CS(K01~K20, V01~V12, W01~W48)에 있고, 결과는__PK_(페르소나)·__PV_(다양한 질문)에 턴마다 저장됩니다. 운영판 결과는 운영판 저장소__PAR_prod에 있습니다. - 날짜가 들어간 질문은 11/20(금) 기준입니다. 다른 날 돌리면 「이번 주말」「다음 주 토요일」의 기대 날짜를 그날 기준으로 바꿔 보세요.
- 개발판 테스트 데이터에는 남해·동해 배와 실제 가격이 거의 없어, 지역 대체와 요금 관련 판정은 운영 데이터(stage)에서 한 번 더 확인하는 것을 권합니다.