어바웃피싱 · SONA AI 채팅 · 개발 전달용

SONA 개발판·운영판 대조 평가 — 11/20 오전 변경본

2026-11-20 오전 변경본 · 서현일 · 개발판 dev-www.aboutfishing.kr/ai(비회원) · 운영판 aboutfishing-ai.pages.dev · 최신(11/20 오후) 보기 · 11/19 오후 · 11/19 오전

요약

구분 건수 내용
P0 4 날짜가 다음 주로 넘어감, 다음 달 날짜 오류, 인원 오인식, 같은 배 요금이 턴마다 다름
P1 10 정해진 답 오적용, 서비스 질문 거절, 조과 답 오류, 챔피언십→축제, 맥락 놓침, 먼 지역을 가까운 지역이라 함, 시즌 질문, 조건 무시, 민물·좌대, 문장 잘림·중복
P2 7 로그인 안내 반복, 출항 시각, 취소 규정 답 불일치, 총비용 질문, 주차 재질문, 스토어 가격 조건, 문구

테스트 방법

항목 내용
대상 개발판 dev-www.aboutfishing.kr/ai (11/20 오전 변경본, 비회원) / 운영판 aboutfishing-ai.pages.dev
페르소나 11/17 대조 시나리오 20명 464턴에서 81턴을 뺀 19명 383턴. 줄임말 위주 손님 1명(24턴)은 통째로 뺐고, 조건 넣었다 빼기·요일만 바꾸기·같은 조건 반복·영어 턴 57개를 뺐습니다.
다양한 질문 처음 타는 직장인, 아이 동반 가족, 오천항 단골, 여수 커플, 회사 단체 10명, 60대, 제주 방어 원정, 민물·낚시카페, 부산·동해 밤낚시, 오타가 많은 손님, 날씨·안전 걱정, 예약·결제·취소 문의 12명의 대화 113턴 + 단발 질문 48개
판정 고객이 원하는 답이면 PASS, 일부만 답하거나 한 번 더 물어야 하면 PARTIAL, 엉뚱한 답·날짜/인원 오류·조건 누락이면 FAIL. 오타는 판정에 넣고 줄임말·영어·초성·포인트는 뺐습니다.
비교 개발판은 테스트 데이터, 운영판은 운영 데이터라 배 이름·가격은 비교하지 않았습니다. 질문을 이해했는지, 조건을 지켰는지, 맞는 정보를 줬는지만 비교했습니다.
날짜 기준 오늘 11/20(금). 이번 주말 = 11/21(토)·22(일), 다음 주 토요일 = 11/28, 다음 달 첫째 주 토요일 = 12/5

P0 — 날짜·인원·요금이 틀림

예약 조건이 틀린 채로 배를 보여 주고, 이어지는 물때·날씨·금액·정리까지 같이 틀리는 문제입니다.

P0-1 「토요일이요」를 다음 주 토요일로 잡음

이번 주말(11/21~22)을 보던 중에 「토요일이요」라고 하면 11/21이 아니라 11/28로 찾습니다. 다음 주말(11/28~29)을 보던 중이면 12/5로 넘어갑니다. 이번 조사에서 페르소나 5명에게서 나왔고, 오전 재현(X02, C12)까지 합치면 7번입니다.

재현(같은 대화) 개발판 답 운영판 답
「안녕하세요 이번 주말에 여자친구랑 쭈꾸미 낚시 가보려고요」 → 「둘 다 처음이에요…」 → 「충남 쪽이…」 → 「오천항으로 볼게요. 토요일 2명」 「오천항에는 11월 28일(토) 주꾸미 배가 없어서… 조건을 바꿨어요: 날짜 11월 21일(토), 11월 22일(일) → 11월 28일(토)」 11/21(토) 오천항 쭈꾸미 배 3척
「이번 주말 오천항 쭈꾸미 2명이요」 → 「토요일이요」 「오천항에는 11월 28일(토) 주꾸미 배가 없어서…」 11/21(토) 오천항 3척
「남해 참돔 타이라바 배 찾고 있어요」 → 「통영이나 거제 쪽이요」 → 「이번 주말 1명」 → 「토요일이요」 「통영·거제에는 11월 28일(토) 참돔 배가 없어서…」 11/21(토)로 검색
「…그럼 쭈꾸미로요. 이번 주말에 친구랑 둘이요」 → 「토요일이요」 「인천 · 11월 28일(토) · 주꾸미 · 2명…」 11/21(토) 인천 6척
「다음 주말에 가족끼리… 어른 2명, 아이 2명」 → 「태안 쪽으로…」 → (중략) → 「토요일로 볼게요」 「태안에는 12월 5일(토) 배가 없어서 가까운 다른 지역에서 찾았어요」 → 마지막 정리도 「태안 · 12월 5일(토) · 4명」 11/21(토)로 검색(운영판도 틀림, 정답 11/28)

P0-2 「다음 달 첫째 주」「다음 달 중순」 날짜 오류

재현 개발판 답 운영판 답
(충남·4명 대화 중) 「다음 달 첫째 주 토요일에 4명 자리 있는 배 보여주세요」 「충남 · 11월 28일(토) · 4명…」(12/5여야 함) 「조건에 맞는 상품을 확인하지 못했어요」(날짜 표시 없음)
(여수 대화 중) 「다음 달 중순 주말에 여수 2명 배 있어요?」 「여수에는 없어서 가까운 다른 지역…」 12월 5일 충남 서천 초원호(중순 아님) 「일요일·토요일 조건에 맞는 배와 상품을 정확히 확인하지 못했어요」

P0-3 「아이 둘이랑 남편까지 4명이서」를 2명으로 읽음

재현(새 대화 첫 질문) 개발판 답 운영판 답
「아이 둘(7살, 10살)이랑 남편까지 4명이서 배낚시 가능할까요?」 「지역을 정하지 않으셔서 전국 기준으로 찾았어요. 11월 21일(토), 11월 22일(일) · 2명 조건으로…」 「4명 자리가 있는 배는 찾았어요. 다만 아이 7살·10살이 타도 되는지는 선사 확인이 필요해요」

P0-4 같은 배 요금이 턴마다 다름

재현(같은 대화) 개발판 답
「이번 주말 오천항 쭈꾸미 2명이요」 → 「토요일이요」 → … → 「대여 장비 3명분 얼마예요?」 카드에는 「초원호 … 1인 300원」, 계산 답에는 「선비 초원호 1인 100,000원 × 3명 = 300,000원」
「부산 이번 토요일 3명」 → 「초원호 자세히」 목록 카드 300, 상세 카드 100000

P1 — 질문과 다른 답

P1-1 질문과 다른 정해진 답이 나옴 (약 35턴)

키워드가 비슷하면 다른 질문용 정해진 답을 그대로 내보냅니다. 운영판은 같은 질문에 대부분 맞게 답합니다.

질문 개발판 답(정해진 답) 운영판 답
「에기는 몇 호를 많이 써요?」 「봉돌·에기·지그 규격은 그날 물살과 수심에 맞춰 배마다 정해 둬요… 「봉돌 몇 호 쓰나요」라고 물어보시면 돼요」 「갑오징어 에기 2.5~3.5호에 봉돌 10~20호를 많이 써요」
「타이라바 몇 그램 쓰면 돼요?」「지그 몇 그램 써요?」「합사 몇 호요?」「다운샷 채비 몇 호 써요?」 위와 같은 봉돌 답 타이라바: 「보통 80~100g… 로이스호는 타이라바 세트 80g이 추천 채비」
「배에서 술 마셔도 돼요?」 「식사·간식 제공 여부는 상품마다 달라요…」 「확인하지 못했어요. 선사마다 규칙이 다를 수 있어서… 연락처로 먼저 물어봐 주세요」
「결제는 카드만 돼요? 계좌이체도 돼요?」「예약하면 바로 확정이에요?」「전화로 예약할 수 있어요?」「무통장 입금 됩니까」「카드 할부 돼요?」「아들한테 대신 예약하라고 할 수 있습니까」「4명 정보 다 입력해야 해요?」「예약 확정은 언제 돼요?」「예약할 때 뭐 필요해요? 신분증?」「예약 내역은 어디서 봐요?」 모두 「예약은 배 카드를 눌러 상세 화면에서 날짜·상품·인원을 고른 뒤 「예약하기」를 누르면…」 같은 문장 전화: 선사 번호 안내(「킹덤호 0507-876-5038…」) / 아들: 「아드님이 가입하고 로그인하면 대신 예약할 수 있어요」 / 확정: 「예약 접수와 실제 출항은 별개」 / 예약 내역: 「마이페이지 › 예약 내역」
「의자가 있습니까. 오래 서 있기 힘듭니다」「낚시 끝나고 씻을 수 있는 곳 있어요?」 화장실·선실 안내 의자: 「선사 안내에는 의자가 표시돼 있지 않아요. 편의시설에는 화장실·구명조끼…만」
「구명조끼 아이 사이즈 있어요?」「바다가 처음이라 무서운데 큰 배가 있어요?」 선상 낚시 안전 수칙 목록 「소아용이 있는지는 배마다 달라요. 선사에 미리 물어보시고 없다고 하면 아동용을 챙겨 가세요」 / 「배 크기(톤수·정원)는 조회 결과에 없어서…」
「법인카드 결제 가능해요?」 세금계산서·현금영수증 안내 「법인카드로 결제되는지는 확인되지 않아요. 예약 화면의 결제 수단 안내를 확인해 주세요」
「제 장비 가져가도 되죠? 짐이 많은데 실을 수 있나요?」 장비 대여 안내 준비물 카드(운영판도 약함)
「방어 잡으면 택배로 보낼 수 있어요?」 가져가기·손질 안내 「택배는 확인하지 못했어요. 선사에 먼저 물어보세요. 항구 근처 택배 접수처나 수산시장도…」
「좌대 낚시가 뭐예요?」 「바다낚시터의 실시간 빈자리·입장료·방갈로 재고는… 확인할 수 없어요」 「좌대는 바다나 저수지 위에 띄워 둔 고정 낚시터예요… 좌대 요금은 한 칸 요금이에요」
「멀미약 영어로 뭐라고 해요?」 멀미 줄이는 방법 멀미 줄이는 방법(운영판도 틀림)

P1-2 서비스 질문을 「낚시에 관한 질문만」으로 거절

질문 개발판 답 운영판 답
「다른 쿠폰이랑 중복 돼요?」 「죄송해요, 그 요청은 도와드릴 수 없어요. 조과·물때·날씨·운세…처럼 낚시에 관한 것을 물어봐 주세요.」 「아니요, 쿠폰은 결제 1번에 1장만 쓸 수 있어요」
「영수증 발급 돼요?」 「죄송해요, 낚시에 관한 질문만 도와드릴 수 있어요.」 「확인하지 못했어요. 결제 뒤 마이페이지 예약 내역에서 확인해 보세요」
「외국인 카드 결제 돼요?」 같은 거절 「해외 발급 카드는 확인되지 않아요. 결제 화면에서 확인해 주세요」
「협찬이나 할인 같은 거 문의할 수 있어요?」 같은 거절 「어바웃피싱 고객센터를 통해 직접 접수해 주세요」
「숙소가 제주시인데 서귀포까지 얼마나 걸려요?」 같은 거절 (운영판 기록 누락)
「쭈꾸미 라면 맛있게 끓이는 법」 같은 거절(「잡은 우럭으로 뭐 해먹으면 맛있어요?」에는 답함) (비교 안 함)

P1-3 조과 데이터에 기댄 답이 틀리거나 막힘

질문 개발판 답 운영판 답
「무늬오징어는 어디서 잡아요?」 「최근 많이 잡힌 곳: 서울특별시 종로구, 경상남도 함안군, 경상남도 사천시」 제주 무늬오징어 배 2척(어신호, 제주왔어호)
(제주 갈치 대화 중) 「낮에 하는 건 뭐 잡아요?」 「갈치 최근 조과예요. 최근 많이 잡힌 곳: 서울특별시 종로구, 온산, 경상남도 거제시」 서귀포 배 목록(운영판도 질문에 직접 답하지는 않음)
「갑오징어 어디가 잘 나와요?」(오전 재현) 「서울특별시 종로구, 히타카츠항(대마도), 대전광역시 서구」 (비교 안 함)
「우럭 낚시 하고 싶은데 어디가 좋아요?」 / 「광어 다운샷 어디서 해요?」 「아직 우럭 조과가 올라오지 않았어요.」 / 「아직 광어 조과가 올라오지 않았어요.」 우럭: 배 4척(사천진항, 오천항, 인천 남항) / 광어: 스토어 상품(운영판도 틀림)
「요즘 참돔 조황 어때요?」 → 「몇 키로급 나와요?」 두 번 모두 「전국 최근 90일 회원 조과가 8건 올라왔어요.」 「통영 배들이 최근 2주 올린 조황 글 9건… 참돔 3건, 최근 11/18 로이스호」 → 「4짜·5짜가 많이 나왔다고 되어 있어요」
(부산 갈치 대화 중) 「동해안은 겨울에 뭐 잡혀요?」 「갈치 최근 조과예요. 최근 많이 잡힌 곳: 온산」 「조건에 맞는 상품을 확인하지 못했어요」(운영판도 약함)

P1-4 어바웃피싱 챔피언십을 물으면 축제로 답함

질문(같은 대화) 개발판 답 운영판 답
「어바웃피싱 챔피언십 대회 정보 알려주세요」 → 「언제 어디서 해요?」 → 「참가비 있어요?」 세 번 모두 「어느 지역 축제를 볼까요?」 「진행 중인 낚시대회는 출조 화면에서 상품명에 [낚시대회]로 표시돼요. 신청도 그 상품을 예약하는 방식이에요」
「대회 신청은 어디서 해요?」 「대회마다 달라서… 주최 측 공고문을 확인해 보세요」 「출조 화면에서 상품명에 [낚시대회]가 붙은 상품을 예약하는 방식이에요」

P1-5 대화 맥락을 놓침

재현 개발판 답 운영판 답
「서울 사는데 제일 가까운 데가 어디예요?」 → 「인천이요? 거기서 뭐 잡아요?」 「어느 지역의 최근 조황을 볼까요?」 인천에서 열린 배의 어종 안내
(태안 가족 대화 중) 「요즘 뭘 잡을 수 있어요?」 「어느 지역의 최근 조황을 볼까요?」 「태안 주변 60km 최근 30일 회원 조과 4건」과 내용
(궁평항·전곡항 대화 중) 「서울 강남에서 차로 얼마나 걸려요?」 「목적지가 빠져 있어요. 낚시 출항지(항구) 이름을 함께 말씀해 주세요」 「강남에서 궁평항·전곡항까지는 자료에 없어서… 지도 앱에서」
「다시 배 얘기요, 아까 추천해 준 배 이름이 뭐였죠?」 「지금 조건은 오천항 · 11월 21일(토) · 주꾸미 · 3명이에요」 「아까 추천해 드린 배는 씨앤미호예요. 05:30 출항에 1인 90,000원」
(11/28 출조 대화 중) 「그럼 출조까지 며칠 남았어요?」 「출조 예약 날짜는 제가 확인할 수 없어서…」 「출조일인 11/21(토)까지 하루 남았어요」
(속초·주문진 대구 대화 중) 「12월 첫째 주 일요일 2명」 → 「배 크기 큰 배요」 → 「요금 2명」 「속초·주문진 대구 배가 없어서 지역·어종 상관없이 찾았어요」 → 충남 서천 초원호, 요금도 초원호 기준 「12/6(일) · 속초·주문진 · 대구 · 2명: 아직 조건에 맞는 상품을 확인하지 못했어요」

P1-6 멀리 떨어진 지역을 「가까운 다른 지역」이라고 안내

질문 개발판 답 운영판 답
「여자친구랑 처음 배낚시 가보려는데 여수 괜찮아요?」 「여수에는 없어서 가까운 다른 지역에서 찾았어요」 충남 서천·태안·경기 부천 「네, 여수도 배낚시 해 볼 만해요… 국동항 골드로저호 갑오징어, 무료 낚시강습」
「부산에서 갈치 배 있어요?」 「가까운 다른 지역」 충남 태안·경기 성남·인천 「부산 · 갈치: 아직 조건에 맞는 상품을 확인하지 못했어요」
「거제도 감성돔 배 있어요?」 / 「통영 볼락…」 / 「속초 오징어…」 경기 성남·오산·인천 / 충남 보령·경기 오산·시흥 / 인천 강화·경기 안성·충남 태안 거제 감성돔 3척 / (비교 안 함) / 「속초·강원 오징어 배 못 찾았어요. 날짜나 어종을 바꿔서…」
「울진이나 포항에서 대구 낚시 하는 배 있어요?」 인천 강화·충남 태안 구룡포 미르호

P1-7 시즌 질문에 시즌달력 일반 문구

질문 개발판 답 운영판 답
「제주도 방어 지깅 하려고 하는데 언제가 시즌이에요?」 「지금은 11월이라 주꾸미, 갑오징어, 우럭, 광어, 삼치, 참돔이 제철이에요. 전국 최근 30일 회원 조과 1건 중 많이 올라온 어종은 붕어 1건이에요…」 제주 방어 지깅 배 3척(시즌 설명은 없음)
「대구 시즌이 언제부터예요?」 위와 같은 시즌달력 문구 「일반적으로 늦가을~겨울, 12월부터 이듬해 2~3월까지가 한창이에요」
「쭈꾸미 시즌 언제까지애요」 위와 같은 시즌달력 문구 배 목록(운영판도 약함)

P1-8 말한 조건을 반영하지 않음

질문 개발판 답 운영판 답
「화장실 있고 편하게 앉아서 할 수 있는 배 있나요?」 / 「화장실 있는 배만요」 전국 검색, 화장실 조건 언급 없음 / 화장실 일반 안내 「화장실이 있는 배는 찾았어요… 앉아서 할 자리는 확인된 정보가 없어서 선사에 확인해 주세요」 / 화장실 있는 배로 다시 찾음
「쭈꾸미랑 갑오징어 같이 하는 배도 있어요?」 「조건을 바꿨어요: 어종 갑오징어 → 주꾸미」 「예, 11/28 오천항에 쭈꾸미와 갑오징어를 같이 하는 상품이 있어요. 씨앤미호와 비엔나호…」
「우럭이나 광어요」 광어만 조건 (비교 안 함)
「사진 많이 올라온 배」「리뷰 좋은 순으로」「해 질 녘에 들어오는 배」「3시간 정도면 좋겠어요」「근처 다른 항구도 같이」「인천이나 충남 중에 추천해 주세요」 같은 결과를 다시 보여 주거나 「앞과 같은 결과예요. 바꾸고 싶은 조건이 있으면 말씀해 주세요」 일부는 운영판도 약함
「토요일 일요일 중 어디가 나아요?」(태안 날씨 대화) / 「날씨 좋은 다른 지역 있으면 추천해 주세요」 토요일 날씨만 다시 / 태안 일요일 날씨 반복 + 「조건을 뺐어요: 지역(태안)」 둘 다 약함

P1-9 민물·좌대 질문은 거의 같은 답

민물 붕어 좌대 손님 19턴 가운데 12턴에 아래 문장이 그대로 나왔습니다.

민물낚시터의 실시간 빈자리·입장료·방갈로 재고는 현재 연결된 예약 데이터로 확인할 수 없어요. 이것이 해당 낚시터의 마감이나 예약 불가를 뜻하지는 않아요. 요청하지 않은 배낚시로 바꾸지 않을게요…

P1-10 문장이 잘리거나 같은 문장이 두 번 나옴

질문 개발판 답
「회사 워크숍으로 10명이… 배 한 척 통째로 빌릴 수 있어요?」 「…앱의 해당 배 상세 화면에서 확인해 로그인하시면 내 예약과 쿠폰도…」(문장 중간에 끊김)
「차가 없어요. 대중교통으로 갈 수 있어요?」 「…가까운 터미널이나 역까지 간 뒤 택시를 이용하 로그인하시면…」
「모슬포항이랑 서귀포 중에 어디가 나아요?」 「…더 구체적으로 안내 로그인하시면…」
「점심 식사 포함되는 배 있어요?」 「동료 한 명이 채식주의자인데 점심 주나요?」 「식사·간식 제공 여부는 상품마다 달라요. 상품 안내에 없으면… 식사·간식 제공 여부는 상품마다 달라요. 상품 안내에 없으면…」(두 번)
「낚시 안 하는 사람도 2명 있는데 탑승만 가능해요?」 / 「처음 하는 사람이 대부분인데 선장님이 알려주시나요?」 같은 문장 두 번

P2 — 개선

ID 내용 재현 기대
P2-1 비회원 일반 답마다 같은 로그인 안내가 붙음(40회 넘게) 「혼자 가도 괜찮을까요?」「우럭이랑 노래미 차이가 뭐예요?」 등 → 끝에 「로그인하시면 내 예약과 쿠폰도 여기서 바로 확인할 수 있어요.」 대화에서 한 번만, 예약·쿠폰 이야기가 나왔을 때 보여 줌
P2-2 출항 시각을 안 알려 줌 「첫 번째 배 출항 시간이 몇 시예요?」 → 「출항 시각과 타는 시간은 그날 물때와 날씨에 따라 달라져요. 선사나 고객센터로 문의해 주세요」 운영판처럼 상품의 출항·귀항 시각을 보여 줌(「05:30에 출항해요. 귀항은 15:00」)
P2-3 취소·환불 답이 서로 다름 결항 질문에는 「출항 3일 전까지는 수수료 없이 직접 취소할 수 있어요」, 「출조 3일 전에 취소하면요?」에는 「배와 상품마다 달라요」 / 날짜 변경 답에는 「환불에 3~5영업일」, 「환불은 며칠 걸려요?」에는 「배마다 달라요」 / 「결제했는데 선장님이 취소하면?」에도 「배마다 달라요」 같은 규정을 한 곳에서 가져와 같은 답을 함. 선사 취소는 전액 환불로 답함
P2-4 총비용 질문을 예산 입력으로 오해 「비용은 전부 합쳐서 대충 얼마 들어요?」「둘이서 총 얼마 정도 예상하면 돼요?」 → 「예산을 금액으로 알려 주시면 계산해 드릴게요」 보여 준 배 기준으로 총액 계산(운영판: 「골드로저호 1인 70,000원 × 2명 = 140,000원, 쿠폰 쓰면 120,000원」)
P2-5 기능이 있는데 고객에게 다시 말하라고 함 「버스 대절해서 가면 주차 가능해요?」「그 배 주차 돼요?」 → 「「항구 근처 주차장」으로 물으시면 가까운 주차장을 찾아 드려요」 바로 그 항구 주차장 검색 결과를 보여 줌
P2-6 스토어 가격 조건 무시 「쭈꾸미 에기 추천해 줘요」 → 「2만원 이하로요」 → 스토어 이동 버튼만 / 「타이라바 로드」 → 「30만원 이하로요」 → 같은 답 가격 조건으로 거른 상품을 보여 줌
P2-7 문구 「연안부두은 인천 기준으로」(조사), 「핑크·오렌지·chartreuse」(영어), 「갑오징어 요리… 저는 요리법까지는 잘 몰라서 아쉬워요 😊」(다른 요리 질문엔 답함), 11월 옷차림 답에 「여름에도 얇은 긴소매와 우비」, 「6시간 이내 상품은 없어요… 아이와 함께라면 6시간 이하 짧은 상품이 좋아요」 조사·용어 정리, 앞뒤 안 맞는 문구 정리

잘 된 것

운영판도 약한 것(둘 다 개선 대상)

개발판만의 문제는 아니지만 같이 보면 좋은 것들입니다.

개발판 FAIL·PARTIAL 전체 목록

위 항목에 넣지 않은 것까지 모두 적었습니다. 「→」 앞은 고객 입력, 뒤는 개발판 답 요지입니다. 번호는 대화 안의 몇 번째 질문인지입니다.

다양한 질문(12명 대화 + 단발)

페르소나 19명

다시 돌리는 법