성능 수치 공개
홍보 문구가 아니라 성적표입니다 — 무엇을, 어떻게 재서, 몇 점이 나왔는지, 그리고 한계는 무엇인지 전부 적습니다. 최종 갱신 2026-09-04.
네이버 클로바가 만든 공개 영수증 데이터셋 CORD-v2의 시험 문서 100장에서,
바로문서는 정답 값의 94.5%를 회수했습니다. 100장 전부 처리를 마쳤고
— 이 중 2장은 심하게 흐려 값을 지어내는 대신 "판독 불가"로 표시했습니다.
이 시험 데이터를 한 장도 학습하지 않은 상태에서 실서비스와 같은 설정으로 측정했습니다.
CORD-v2 (영수증 100장)
네이버 클로바 제작 공개 데이터셋 · 측정일 2026-09-04
94.5%정답 값 회수율 (recall)
0.80값 F1
100 / 100장처리 완료
15.3초/장평균 처리 시간
| 지표 | 값 | 뜻 |
|---|---|---|
| 정답 값 회수율 (recall) | 94.5% | 정답지에 적힌 값(품목·수량·단가·합계) 중 우리 결과에 들어 있는 비율 |
| 값 F1 | 0.80 | 회수율과 정밀도의 조화평균 — 자체 채점 기준(아래 방법 참조) |
| 처리 완료 | 100 / 100장 | 전 문서 처리 완료 — 이 중 2장은 값을 지어내는 대신 '판독 불가'로 표시 |
| 평균 처리 시간 | 15.3초/장 | 실서비스와 같은 설정으로 측정 |
측정 방법 — 그대로 재현할 수 있게 적습니다
- 표본: CORD-v2 시험(test) 분할의 앞 100장 — 고르지 않고 순서대로 고정해, 누구든 같은 표본으로 재현할 수 있습니다.
- 실행: 실서비스와 동일한 판독 설정으로 처리했습니다. 이 시험을 위한 별도 조정이나 사전 학습은 없습니다.
- 채점: 정답지의 값(품목명·수량·단가·합계 등)이 우리 결과 어딘가에 있으면 회수로 인정하는 값 기준 채점입니다. 숫자는 표기 차이(쉼표·통화 단위)를 같게 취급합니다.
- 제외 없음: 100장 전부 집계에 넣었습니다. 심하게 흐린 2장은 판독이 불가능했는데, 이때 값을 지어내는 대신 "판독 불가"로 표시한 것이 우리 방식입니다.
참고 비교 — 단, 채점 자가 다릅니다
CORD 공식 채점(구조까지 재는 방식) 기준으로, 이 데이터셋의 훈련 문서 800장으로 학습된 전용 판독기 Donut(네이버 클로바)은 F1 0.841을 공표하고 있습니다. 우리의 값 F1 0.80은 다른 채점 방식의 수치이므로 두 숫자로 우열이나 동급을 주장할 수 없습니다 — 규모감을 가늠하는 참고로만 봐 주세요. 공식 채점 방식으로 다시 측정한 결과를 별도로 공개할 예정이며, 그전까지 이 페이지는 비교 결론을 내리지 않습니다.
한계 — 먼저 말씀드립니다
- CORD는 영어·인도네시아어 영수증 위주입니다. 우리의 주 무대인 한국어 촬영 문서와는 조건이 다르며, 한국어 실문서 수치는 자체 검증 데이터 기준으로 준비해 이 페이지에 추가할 예정입니다.
- 정밀도(우리가 낸 값 중 정답지에 있는 비율)는 66.8%로 회수율보다 낮습니다. 하위 사례를 뜯어보면 CORD 정답지가 품목·합계 필드만 담는 반면 바로문서는 부가세·결제수단·매장 정보까지 문서 전체를 복원해 정답지에 없는 값이 감점되는 범위 차이가 큰 몫으로 보입니다. 다만 이번 채점만으로는 "올바르게 읽은 추가 정보"와 "실제 오독"의 비중을 전수 구분하지 못했습니다 — 이 분류 분석을 추가로 공개하겠습니다.
- 공식 채점 방식(구조 기준)으로의 동일 조건 비교는 추후 별도로 진행해 결과를 여기에 공개합니다.
자주 묻는 질문
영수증 사진을 얼마나 정확하게 복원하나요?
공개 데이터셋 CORD-v2 100장 기준 정답 값의 94.5%를 회수했습니다. 실서비스에서는 판독이 불확실한 값을 노란색으로 표시해, 확인해야 할 곳을 알려드립니다.
읽지 못한 문서는 어떻게 되나요?
값을 지어내지 않습니다. 판독이 안 되면 안 된다고 표시하고, 처리에 실패한 페이지의 크레딧은 자동 환불됩니다.
왜 회사가 직접 잰 수치를 믿어야 하나요?
믿으라고 요구하지 않습니다 — 대신 검증할 수 있게 공개합니다. 표본 선정(공개 데이터셋 시험 분할 앞 100장 고정)·채점 기준·제외 없음 원칙을 전부 적어 두었고, 표본 목록·채점 방법 등 원자료 파일도 정리해 추가 공개할 예정입니다.
회원가입도 이메일도 받지 않습니다 · 파일은 1시간 뒤 바로문서 서버에서 자동 삭제됩니다