← 전체 목차이전다음
K-Culture Dataset Project Guide

6일차 · 라벨링·검수 기준 맞추기

여러 명이 만든 K-컬처 데이터가 같은 기준으로 pass/caution/fail 판정되도록 작업가이드를 완성합니다.

DAY 068시간라벨링 가이드 v1, 오류 태그, 검수 기준, Seed 100건 1차 판정프로젝트 반영형예제 숨김 보기
오늘 진행률0% 0개 완료

프로젝트 관리 도구에서 오늘 반영할 위치

00

오늘의 1페이지 운영 흐름

슬라이드 전체를 따라가기보다, 강의에서 꼭 실습할 개념을 프로젝트 산출물로 바로 옮깁니다. 예제는 먼저 접혀 있으니 필요할 때만 펼쳐 보세요.

1교시라벨 정의 보완
2교시오류 태그 만들기
3교시pass/caution/fail 기준
4교시Seed 100건 1차 검수
수업 운영 팁 · 학생들은 먼저 ‘강의에서 실습할 것’을 수행하고, 바로 오른쪽 ‘프로젝트에 반영할 것’을 프로젝트 관리 도구에 입력합니다. 입력 후 작업 파일 저장까지 해야 오늘 실습이 끝난 것으로 봅니다.
01

실습 카드

각 카드는 짧은 강의 실습, 프로젝트 반영, 숨김 예제, 복사용 프롬프트로 구성했습니다.

실습 1

라벨 정의를 예시 중심으로 고치기

강의에서 실습할 것

  • 강의에서는 라벨 이름보다 경계 예시가 더 중요하다는 점을 확인합니다.
  • 좋은 예, 나쁜 예, 애매한 예를 하나씩 둡니다.
  • 팀원이 헷갈린 라벨은 이름을 바꾸거나 설명을 보강합니다.

프로젝트에 반영할 것

  • intent와 category 기준표를 프로젝트 로그에 반영합니다.
  • 마스터 데이터에서 라벨이 헷갈리는 10건을 표시합니다.
  • 가이드 변경 후 같은 기준으로 다시 판정합니다.
프로젝트 도구 위치 · 라벨 정의 v1, 애매한 사례 10건
복사용 프롬프트·템플릿
K-컬처 QA 데이터의 라벨 정의표를 예시 중심으로 보완해줘.
라벨마다 좋은 예, 나쁜 예, 애매한 예, 최종 판단 기준을 넣는다.
K-컬처 예제 보기
애매한 예

“한국 드라마 속 존댓말을 설명해줘”는 드라마 분야이면서 한국어 표현 의도일 수 있습니다. 팀 기준으로 우선순위를 정합니다.

우선순위 예

의도는 사용자가 원하는 행동, 분야는 질문 소재로 구분합니다.

실습 2

오류 태그를 만들고 수정 방법 붙이기

강의에서 실습할 것

  • 강의에서는 오류를 “틀림”으로만 쓰지 말고 고치는 길을 붙입니다.
  • privacy, factuality, copyright, duplicate, too_short, label_mismatch 같은 태그를 사용합니다.
  • 오류 태그가 있어야 9일차 품질 리포트가 쉬워집니다.

프로젝트에 반영할 것

  • 검수 메모(notes)에 적을 오류 유형 목록을 정합니다.
  • 검수 중 발견한 오류는 검수 메모(notes)에 수정 방법까지 남깁니다.
  • 품질검사 결과와 오류 태그를 연결합니다.
프로젝트 도구 위치 · 오류 태그표, 수정 방법
복사용 프롬프트·템플릿
K-컬처 QA 데이터 검수용 오류 태그 8개를 만들어줘.
각 태그마다 뜻, 발견 방법, 수정 방법, 예시를 표로 작성한다.
K-컬처 예제 보기
태그 예

factuality: 확인되지 않은 순위·일정·가격을 단정함. 수정: 기준과 시점을 쓰거나 공식 확인 안내 추가.

태그 예

copyright: 가사·대사·기사 원문을 길게 복사함. 수정: 자기 말로 요약.

실습 3

pass/caution/fail 기준 맞추기

강의에서 실습할 것

  • 강의에서는 최종 통과 수를 부풀리지 않기 위해 상태 기준을 분리합니다.
  • pass는 제출 가능, caution은 주의와 수정 필요, fail은 최종 제외입니다.
  • 사람 검수 전 AI 생성 초안은 pass가 아닙니다.

프로젝트에 반영할 것

  • 검수 상태(qa_status)·안전 확인(safety_status) 기준표를 작성합니다.
  • Seed 100건 중 20건을 팀원이 서로 교차 검수합니다.
  • 판정이 다르면 기준이 모호한 지점을 가이드에 추가합니다.
프로젝트 도구 위치 · 검수 기준표, 교차 검수 결과
복사용 프롬프트·템플릿
K-컬처 QA 데이터의 pass/caution/fail 판정 기준을 만들어줘.
조건: 출처, 안전, 저작권, 라벨, 답변 품질, 중복을 포함한다.
K-컬처 예제 보기
pass

필수 열이 있고, 출처 또는 ‘확인 필요’ 표시가 있으며, 답변이 안전하고 라벨이 맞음

caution

좋은 데이터지만 출처 확인이나 표현 수정이 조금 필요함

fail

개인정보, 루머, 원문 복사, 질문/답변 불일치가 큼

실습 4

Seed 100건 1차 판정하고 가이드 수정

강의에서 실습할 것

  • 강의 실습은 기준을 만드는 데서 끝나지 않고 실제 데이터에 적용해야 합니다.
  • 기준을 적용해 봐야 빈틈이 보입니다.
  • 수정된 가이드는 7~9일차 품질관리의 근거가 됩니다.

프로젝트에 반영할 것

  • Seed 100건의 검수 상태(qa_status)와 안전 확인(safety_status)을 판정합니다.
  • 주의(caution)·수정 필요(fail) 데이터는 검수 메모(notes)에 오류 유형과 수정 방법을 남깁니다.
  • 라벨 기준을 바꾸면 작업 파일 저장 후 팀 전체에 공유합니다.
프로젝트 도구 위치 · 검수된 Seed 100건, 가이드 v1.1
복사용 프롬프트·템플릿
Seed 100건 검수 결과를 프로젝트 로그로 정리하는 양식을 만들어줘.
포함: pass 수, caution 수, fail 수, 많이 나온 오류, 바꾼 기준, 다음 할 일.
K-컬처 예제 보기
로그 예

pass 72, caution 21, fail 7. 많이 나온 오류: 출처 없음, 답변 너무 짧음, 라벨 불일치.

다음 할 일

caution 21건을 7일차 파일럿 전에 수정합니다.

99

마무리 체크

아래 항목을 확인하고 작업 파일을 저장합니다. 9~10일차에는 특히 1,000건 수량보다 검수 상태와 설명 가능성이 중요합니다.