← 전체 목차이전다음
K-Culture Dataset Project Guide

8일차 · AI 초안을 안전한 데이터로 늘리기

Seed를 기준으로 AI 초안을 만들되, 검수 전에는 최종 통과 데이터로 세지 않습니다.

DAY 088시간초안 300~500건, 샘플 검수 50건 이상, A/B 평가셋 초안프로젝트 반영형예제 숨김 보기
오늘 진행률0% 0개 완료

프로젝트 관리 도구에서 오늘 반영할 위치

00

오늘의 1페이지 운영 흐름

슬라이드 전체를 따라가기보다, 강의에서 꼭 실습할 개념을 프로젝트 산출물로 바로 옮깁니다. 예제는 먼저 접혀 있으니 필요할 때만 펼쳐 보세요.

1교시생성 프롬프트 설계
2교시배치 생성·불러오기
3교시샘플 검수와 오류 태그
4교시프롬프트 개선·평가셋
수업 운영 팁 · 학생들은 먼저 ‘강의에서 실습할 것’을 수행하고, 바로 오른쪽 ‘프로젝트에 반영할 것’을 프로젝트 관리 도구에 입력합니다. 입력 후 작업 파일 저장까지 해야 오늘 실습이 끝난 것으로 봅니다.
01

실습 카드

각 카드는 짧은 강의 실습, 프로젝트 반영, 숨김 예제, 복사용 프롬프트로 구성했습니다.

실습 1

Seed 기반 생성 프롬프트 만들기

강의에서 실습할 것

  • 강의에서는 AI에게 많이 만들라고 하기보다 기준과 금지 조건을 주는 법을 연습합니다.
  • 대표 Seed, 필수 필드, 금지 내용, 상태값을 함께 넣습니다.
  • AI가 만든 데이터는 초안이며 사람이 확인해야 합니다.

프로젝트에 반영할 것

  • 생성 조건을 프로젝트 로그에 저장합니다.
  • 생성 데이터는 검수 상태(qa_status)=draft로 불러옵니다.
  • 대표 Seed 10건을 프롬프트 예시로 사용합니다.
프로젝트 도구 위치 · 생성 프롬프트 v1, draft 데이터
복사용 프롬프트·템플릿
K-컬처 QA 데이터를 생성해줘.
조건:
- 필드: id, category, intent, question, answer, source_title, source_date, rights, qa_status, safety_status, notes
- qa_status는 반드시 draft
- 루머, 개인정보, 긴 가사/대사 복사 금지
- 날짜·가격·순위는 단정하지 말고 공식 확인 안내
- JSONL 형식으로 출력
- 대표 Seed의 말투와 길이를 따른다.
K-컬처 예제 보기
생성 조건 예

category는 K-POP/드라마/음식/관광/한국어 표현을 균형 있게 사용

금지 예

“이 배우의 실제 연락처는?” 같은 질문은 만들지 않습니다.

실습 2

작은 배치로 생성하고 오류 패턴 찾기

강의에서 실습할 것

  • 강의에서는 200건을 한 번에 만들기보다 20~50건씩 확인하는 방식을 씁니다.
  • 작은 배치에서 오류가 보이면 프롬프트를 고친 뒤 다음 배치를 만듭니다.
  • 오류를 기록해야 9일차 품질 리포트가 만들어집니다.

프로젝트에 반영할 것

  • 20~50건 단위로 생성하거나 CSV/JSONL로 불러옵니다.
  • 샘플 10건을 즉시 검수해 오류 태그를 붙입니다.
  • 오류가 반복되면 생성 프롬프트를 수정합니다.
프로젝트 도구 위치 · 배치별 생성 데이터, 오류 메모
복사용 프롬프트·템플릿
방금 생성한 K-컬처 QA 초안 20건에서 반복 오류를 찾아줘.
조건: factuality, copyright, duplicate, too_short, label_mismatch, unsafe를 기준으로 오류 Top 5와 프롬프트 수정안을 제안한다.
K-컬처 예제 보기
오류 패턴

“가장 인기 있는” 표현 반복 → 기준 없는 순위 단정 금지 조건 추가

오류 패턴

답변이 한 문장으로 너무 짧음 → 2~4문장 조건 추가

실습 3

초안 300~500건 중 샘플 50건 이상 검수

강의에서 실습할 것

  • 강의에서는 전체를 모두 보지 못할 때 표본 검수로 품질을 판단합니다.
  • 표본은 무작위와 위험 데이터가 섞여야 합니다.
  • 검수 결과는 다음 배치 수정과 9일차 품질검사의 근거입니다.

프로젝트에 반영할 것

  • 초안 300~500건을 확보하되 pass로 바로 바꾸지 않습니다.
  • 샘플 50건 이상을 사람이 보고 검수 상태(qa_status)와 안전 확인(safety_status)을 수정합니다.
  • 검수 통과율과 오류 Top 5를 기록합니다.
프로젝트 도구 위치 · 샘플 검수 50건, 통과율, 오류 Top 5
복사용 프롬프트·템플릿
K-컬처 초안 데이터 300~500건에서 샘플 50건을 검수한 결과를 품질 메모로 정리해줘.
포함: 표본 수, pass/caution/fail 수, 오류 Top 5, 다음 생성 조건 수정.
K-컬처 예제 보기
품질 메모 예

50건 중 pass 34, caution 12, fail 4. 오류 Top: 출처 확인 필요, 답변 짧음, 라벨 불일치.

주의

검수하지 않은 draft는 최종 통과 수에 넣지 않습니다.

실습 4

A/B 평가셋과 발표 재료 만들기

강의에서 실습할 것

  • 강의에서는 데이터셋뿐 아니라 AI 응답을 비교하는 평가셋도 만든다는 점을 정리합니다.
  • 좋은/나쁜 응답을 비교하면 데이터가 어떤 행동을 가르치는지 설명하기 쉽습니다.
  • 발표에는 성공 사례뿐 아니라 한계와 수정 사례가 필요합니다.

프로젝트에 반영할 것

  • A/B 평가셋 20~30쌍을 만듭니다.
  • 품질 리포트 초안에 오류 Top 5와 수정 전후 예시를 넣습니다.
  • 데이터셋 카드에 목적, 구성, 한계, 사용 금지 사례를 적습니다.
프로젝트 도구 위치 · A/B 평가셋, 품질 리포트 초안, 데이터셋 카드 초안
복사용 프롬프트·템플릿
K-컬처 QA 데이터셋 발표에 넣을 A/B 평가 예시 5개를 만들어줘.
조건: 같은 질문에 좋은 답변 A와 부족한 답변 B를 만들고, 어떤 답변이 좋은지 이유를 쓴다.
K-컬처 예제 보기
A/B 예

Q: 한국 콘서트 입장 전 무엇을 확인해야 하나요? A는 공식 안내·신분증·티켓 시간을 안내, B는 “그냥 일찍 가세요”처럼 부족함.

발표 재료

수정 전: 순위 단정. 수정 후: 기준과 시점에 따라 다르며 공식 차트 확인 안내.

99

마무리 체크

아래 항목을 확인하고 작업 파일을 저장합니다. 9~10일차에는 특히 1,000건 수량보다 검수 상태와 설명 가능성이 중요합니다.