AI 초안을 안전한 데이터로 바꾸기

8일차는 데이터를 많이 만드는 날이 아니라, AI가 만든 초안을 작게 만들고 안전하게 살피는 날입니다. Seed를 기준으로 합성데이터를 20건 단위로 약 300건 만들고, 무작위 샘플 50건 이상을 검수해 오류에 이름표(ERR_)를 붙입니다. 발견한 오류는 프롬프트 개선 한 문장으로 바꿔 재생성하고, 좋은 답을 고르는 A/B 평가셋 30세트 이상을 만든 뒤, 품질 리포트·데이터셋 카드·1분 발표로 정리합니다. 합성데이터는 최종본이 아니라 검수 전 초안이고, 최종 판단은 사람이 합니다. 각 카드의 복사 버튼으로 템플릿을 가져가 팀 문서에 붙여넣고 채우세요.

먼저 오늘 남길 8개 파일과 합성데이터의 필수 필드 11개를 확인합니다. 스키마는 데이터 도시락 칸이고, JSONL은 한 줄에 한 건입니다. 좋은 한 줄과 고칠 한 줄을 나란히 읽어, 검수할 때 무엇을 보는지(배송일 단정·실제 같은 전화번호·필드 누락) 미리 익힙니다.

프롬프트는 AI에게 주는 작업 지시서입니다. 주문서가 흐리면 결과도 흐려집니다. 역할·목표·언어/지역·건수·필수 필드·금지선·출력 형식·예시 한 줄을 분명히 적어 02_generation_prompt.md를 완성합니다. 특히 금지선(실제 개인정보 금지·placeholder 사용·배송일/재입고일/환불 단정 금지)을 빠뜨리지 않습니다.

한 번에 많이 만들지 말고 20건 단위로 작게 만듭니다. 작게 만들면 중간에 맛을 보고 고칠 수 있습니다. JSONL만 파일에 붙여넣고, 줄 수·id 범위·필드 누락을 먼저 확인합니다. id는 데이터 한 줄의 출석번호이고, 배치 번호를 넣으면 문제가 생긴 위치를 추적할 수 있습니다. 결과는 03_synthetic_data_sample.jsonl에 모읍니다.

샘플 검수는 일부를 깊게 보는 방법입니다. 언어·intent별로 골고루 50건 이상을 골라 pass·fix·drop으로 판정합니다. pass는 그대로 둘 수 있는 줄, fix는 고쳐서 살릴 줄, drop은 안전·형식 문제로 빼는 줄입니다. ‘이상해요’ 대신 오류 태그(ERR_)로 이름을 붙이고, 가장 많이 나온 오류를 개선 문장 한 줄로 바꿔 재생성합니다. 결과는 04_review_log.md에 남깁니다.

평가셋은 좋은 답을 고르는 연습장입니다. 질문 1개에 답변 2개(answer_a·answer_b)를 두고, 선호 답과 선호 이유(안전·정확성·구체성)를 기록하며 탈락 답변에도 오류 태그를 붙입니다. A만 계속 이기지 않게 섞어 30세트 이상 만듭니다(05_eval_pairs.jsonl). 마지막으로 생성/검수 건수·오류 Top·개선 문장·남은 한계를 담은 품질 리포트와 사용 가능·금지 범위를 담은 데이터셋 카드를 쓰고, 만든 것·본 것·고친 것·남은 것으로 1분 발표를 준비합니다.

여덟 파일이 모두 준비됐는지 마지막으로 확인합니다. 아래 항목을 모두 체크한 뒤 저장하세요. 남은 빈칸은 01_day8_project_log.md의 ‘남은 질문’으로 옮깁니다.