데이터 라벨링 검수, 작업자마다 판단이 달라지는 지점부터 잡으세요

• 포장지의 상품 사진과 유리의 반사상도 대상인지 결정합니다.
• 보이는 부분만 표시할지 가려진 전체를 추정할지 적습니다.
• 예시 이미지 번호를 해당 기준 문장과 연결합니다.

‘상품을 표시한다’는 설명에는 빠진 조건이 많습니다. 포장지에 인쇄된 상품 사진도 대상인지, 진열대 유리에 비친 모습도 별도로 셀 것인지, 어떤 종류까지 같은 라벨에 포함할 것인지 정해야 합니다. 라벨 이름만 나열한 목록으로는 이 차이를 해결하기 어렵습니다.

대상을 정한 다음에는 표시 범위를 정합니다. 사각형을 그린다면 눈에 보이는 부분만 감쌀지, 가려진 전체 형태까지 추정할지 따로 적어 둡니다. 경계가 흐린 대상에는 합격 예시 하나와 수정이 필요한 예시 하나를 붙입니다. 예시 이미지의 번호를 기준 문장과 연결하면 질문을 주고받을 때도 편합니다.

• 가려진 대상의 범위와 반사상 포함 여부를 정합니다.
• 화면 끝에서 잘린 대상을 표시할 조건을 적습니다.
• 작거나 흐린 대상의 분류·보류 기준과 확인 담당자를 정합니다.

기준서에 쉬운 사진만 넣으면 실제 작업에서 도움이 덜 됩니다. 아래는 진열 상품을 세는 가상의 프로젝트에서 검토할 항목입니다. 어느 쪽이 항상 정답이라는 뜻은 아닙니다. 모델이 무엇을 학습해야 하는지에 따라 발주 담당자가 선택하고, 그 결정을 전원에게 같은 방식으로 전달해야 합니다.

• 예시의 일반 12장＋예외 8장은 고정 권장 표본 수가 아닙니다.
• 실수는 피드백으로, 해석 차이는 기준서 수정으로 처리합니다.
• 수정 규칙의 승인·버전과 기존 결과 재작업 여부를 남깁니다.

전체 물량을 배정하기 전에 작은 샘플로 기준을 시험해 봅니다. 예를 들어 일반 사진 12장과 애매한 사진 8장을 골라 두 사람이 서로의 답을 보지 않고 작업하게 할 수 있습니다. 이 20장은 설명을 위한 구성일 뿐, 모든 프로젝트에 충분한 표본 수는 아닙니다.

결과를 맞춰 보면서 누가 빨랐는지보다 어디서 판단이 갈렸는지 적습니다. ‘가려진 상품 누락’처럼 현상만 기록하지 말고, 해당 장면을 제외 대상으로 이해했는지도 묻습니다. 단순 실수는 작업 피드백으로, 규칙 해석의 차이는 기준서 수정으로 처리하면 재작업 범위가 분명해집니다.

수정된 규칙은 발주 측 확인을 받은 뒤 기준서 v1.1처럼 구분합니다. 이미 완료한 파일에 새 규칙을 다시 적용해야 하는지도 함께 결정합니다. 날짜만 바꾸고 이전 결과를 그대로 두면 납품 파일 안에 서로 다른 기준이 섞일 수 있습니다.

• 대상 누락·분류 오류·경계 오류·속성 누락을 나눕니다.
• 표본 검수인지 전수 검수인지 표시합니다.
• 검수 방법과 합격 조건은 견적 전에 맞춥니다.

정확도라는 숫자를 쓸 때는 분모를 함께 적어야 합니다. 이미지 100장 중 95장이 합격한 것인지, 객체 1,000개 중 950개의 분류가 맞았는지에 따라 의미가 달라집니다. 박스가 잘 그려져 있어도 대상 자체가 빠졌다면 다른 오류입니다.

검수표에서는 대상 누락, 잘못된 분류, 경계 오류, 속성 누락을 나눠 기록해 보세요. 표본에서 발견한 결과인지 전수 확인한 결과인지도 표시합니다. CVAT 공식 문서는 합의된 정답 데이터와 비교하는 검수, 수동 검토, 여러 작업자의 결과를 비교하는 방식을 각각 설명합니다. 모든 방식을 한꺼번에 쓸 필요는 없지만, 채택한 검수 방법과 합격 조건은 견적 전에 맞춰 두는 편이 좋습니다.

• 이미지 이름·식별자·라벨값과 빈 주석의 의미를 확인합니다.
• 해상도가 바뀌었다면 좌표의 기준 해상도를 남깁니다.
• 원본·결과 파일명에 상태·기준 버전·보류 사유를 연결합니다.

라벨링 도구 안에서 보이는 결과와 개발팀이 받아 쓸 파일은 다릅니다. 샘플 납품 때부터 실제로 사용할 형식으로 내보내고 다시 불러와 보세요. 이미지 이름과 식별자가 연결되는지, 라벨 이름이 예상한 값인지, 빈 주석 파일이 의도된 것인지 확인합니다.

원본 해상도를 바꿨다면 좌표가 어떤 해상도를 기준으로 하는지도 남깁니다. 납품 목록에는 원본 파일명, 결과 파일명, 작업 상태, 기준 버전, 보류 사유를 연결합니다. ‘완료 1,000장’이라는 수량보다 어떤 1,000장을 받았는지 확인할 수 있어야 인수인계가 끝납니다.

• 원하는 라벨 종류와 납품 형식을 적습니다.
• 공유 가능한 샘플을 고르고 접근 권한·보관 조건을 정합니다.
• 샘플 ID·질문·합의한 답·결정자·기준 버전을 기록합니다.

아직 기준서를 모두 쓰지 못했다면 정상 사례와 헷갈리는 사례를 몇 장씩 나눠 준비하세요. 여기에 결과물의 용도, 원하는 라벨 종류, 납품 형식을 적으면 작업 범위를 논의할 수 있습니다. 공유할 수 있는 샘플을 선택하고 접근 권한과 보관 조건도 함께 정합니다.

아래 양식에는 샘플 식별자, 판단 질문, 합의한 답, 결정 담당자, 기준 버전, 재확인 상태를 적도록 구성했습니다. 질문이 생길 때마다 새 채팅을 찾는 대신 이 표에 답을 모아 두면 다음 작업자도 같은 결정을 참고할 수 있습니다.