Executive Summary
"무료 데이터셋"이라는 말에는 청구서가 딸려 있다. 데이터를 내려받는 값은 0원에 가까워졌지만, 그 데이터를 써도 되는지 확인하는 값은 그대로 남아 사람이 시급으로 지불한다. 병목이 데이터 확보에서 사용 권리 검증으로 조용히 옮겨간 것이다. 이 글은 그 검증 노동을 시간과 인건비로 환산해, "무료 데이터"의 진짜 총소유비용을 계산한다.
흥미로운 사실 하나. "데이터셋 하나 감사에 몇 시간이 든다"는 학술 벤치마크는 어디에도 없다. 아무도 이 비용을 공식적으로 재본 적이 없다는 이 공백 자체가 이 보고서의 출발점이다. 우리는 유사한 컴플라이언스 작업의 소요 시간을 준거로 감사 5단계를 상향식으로 쌓아, 데이터셋당 3.5~15시간, 프로그램 하나(데이터셋 5~10개) 기준 대략 40~160시간이라는 범위를 투명하게 도출한다. 미국 인건비로 환산하면 저·중 시나리오 수천 달러, 법무 개입이 잦은 고위험 시나리오 3만 달러대다.
이 금액이 커 보이지 않는다면 건너뛴 대가를 보라. 저작물 1건당 실제 합의가, 법정손해배상 상한, 그리고 2026년 8월 전면 시행되는 EU AI Act의 벌금은 감사 비용과 자릿수가 다르다. 감사는 비용이 아니라 보험료에 가깝다. 결론은 하나로 모인다. 오픈 데이터 시대의 진입장벽은 데이터를 확보하는 능력이 아니라, 쓸 수 있음을 싸고 빠르게 증명하는 능력이다.
40~160h
프로그램당 감사 시간
공개 데이터셋 5~10개 기준 상향식 추정
70%대
텍스트 데이터셋 라이선스 누락
1,858개 데이터셋 감사(DPI)
$3,113
저작물 1건당 실제 합의가
Anthropic 총 15억 달러 합의 환산
매출 3%
EU AI Act 벌금 상한
데이터 거버넌스 위반 · 2026년 8월 시행
무료의 역설 — 취득은 0원, 검증은 유료
지난 몇 년 사이 학습 데이터를 구하는 일은 놀랄 만큼 쉬워졌다. Hugging Face 같은 허브에는 수십만 개의 데이터셋이 올라와 있고, 클릭 몇 번이면 수 테라바이트가 내 디스크로 들어온다. 2026년 Hugging Face와 NVIDIA가 함께 벌인 "오픈 데이터" 캠페인은 이 흐름의 정점이다. 180개가 넘는 데이터셋, 2페타바이트 이상의 자료, 로보틱스 데이터만 1,000만 회 이상 다운로드됐다(Hugging Face × NVIDIA, 2026).
그런데 이 풍요에는 함정이 있다. 데이터를 내려받는 값은 0원에 수렴했지만, 그 데이터를 써도 되는지 확인하는 값은 한 푼도 줄지 않았다. 오히려 데이터가 많아질수록 확인해야 할 대상이 늘어 총합은 커진다. 캠페인이 배포한 데이터셋 중 블로그 본문에 라이선스가 명시된 것은 사실상 하나뿐이었고, 그마저도 비상업 조건(CC-BY-NC-4.0)이었다. 나머지는 "각자 알아서 확인하라"는 구조로 풀렸다. 검증 부담이 배포자에서 이용자에게로 명시적으로 넘어간 것이다.
병목이 이동했다. 예전에는 "데이터를 어디서 구하지"가 문제였다면, 지금은 "이 데이터를 상업 제품에 넣어도 되나"가 문제다. 데이터는 공짜가 됐지만, 그 데이터를 써도 되는지 확인하는 노동은 여전히 사람이 시급으로 지불한다.
이 노동의 근본 원인은 라이선스 정보 자체가 부실하다는 데 있다. Data Provenance Initiative(DPI)가 1,858개 데이터셋을 감사한 결과, 인기 호스팅 사이트의 텍스트 데이터셋은 라이선스 정보가 70%대에서 누락돼 있었고, 표기된 것 중에서도 50%대가 원 출처와 어긋난 오표기였다(Longpre et al., 2023). 여기서 중요한 오해 하나를 짚어야 한다. 라이선스가 "없음"으로 표시된 데이터는 "그냥 써도 된다"는 뜻이 아니다. 오히려 "직접 확인하라"는 뜻이고, 그 확인이 곧 감사 노동이다. 열 개 중 일곱 개가 이 상태다.
감사를 시간으로 분해하면 — 데이터셋당 3.5~15시간
여기서 정직하게 밝혀야 할 것이 있다. "라이선스 감사에 데이터셋당 N시간이 걸린다"는 확정된 통계는 학계에도 업계에도 없다. DPI조차 인력 구성(박사·포스트닥 연구자와 GPT-4 보조)만 공개했을 뿐, 시간 로그는 남기지 않았다. 아무도 이 시간을 재본 적이 없다. 그래서 우리는 인용값을 베끼는 대신, 재료를 쌓아 직접 계산한다. 준거는 성격이 비슷한 컴플라이언스 작업이다. GDPR의 개인정보 영향평가(DPIA)는 수작업으로 30시간 이상 걸린다고 보고된다(ECOMPLY). 라이선스 감사도 이와 같은 "문서를 읽고, 조항을 해석하고, 리스크를 판단하는" 노동이다.
데이터셋 하나를 상업 제품에 넣어도 되는지 확인하는 과정을 다섯 단계로 나누면 다음과 같다. 각 단계의 소요 시간은 라이선스가 얼마나 명확한지에 따라 크게 갈리며, 특히 모호 조항 해석과 상업적 이용의 최종 판단에는 데이터 엔지니어가 아니라 변호사의 시간이 들어간다.
| 단계 | 하는 일 | 시간(하한~상한) | 누가 |
|---|---|---|---|
| 1. 라이선스 식별 | 파일·태그·문서에서 라이선스 유형 확인 | 0.5~2h | 데이터 엔지니어 |
| 2. 모호 조항 해석 | "research only" 등 불명확 조항 해석 | 1~4h | 변호사 개입 |
| 3. 재배포·파생 조건 확인 | 저작자 표시·동일조건 등 의무 확인 | 0.5~2h | 데이터 엔지니어 |
| 4. PII·저작권 혼입 점검 | 원천 데이터에 섞인 제3자 권리 확인 | 1~4h | 엔지니어 + 법무 |
| 5. 상업적 이용 최종 판단 | 배포 시나리오별 리스크 확정 | 0.5~3h | 변호사 개입 |
| 데이터셋 1개 합계 | 3.5~15h | ||
데이터셋 하나에 3.5~15시간이다. 학습 프로그램 하나를 공개 데이터셋 5~10개로 꾸린다고 보면 단순 곱셈으로 17.5~150시간이 나온다. 그런데 실제로는 하한이 더 올라간다. 앞서 봤듯 텍스트 데이터셋은 라이선스 파일이 아예 없는 경우가 70%대에 이르기 때문이다. 라이선스가 없으면 2단계(모호 조항 해석)와 5단계(상업 이용 판단)가 반복·확장되고, 그만큼 변호사 시간이 늘어난다. 이 현실을 반영해 프로그램 하나의 감사 시간을 40~160시간으로 잡는다. 벤치마크가 아니라 가정을 드러낸 추정이라는 점을 다시 강조해 둔다.
실증 — 로보틱스 데이터셋의 경우
모달리티와 연식에 따라 감사 부담은 달라진다. 최근 배포된 로보틱스 데이터셋은 상대적으로 라이선스 관행이 정착한 뒤 올라와서, "라이선스 파일 없음" 비율이 10~20%로 텍스트보다 낮다. 하지만 낮은 누락률이 곧 쉬운 감사를 뜻하지는 않는다. 2026년의 한 로보틱스 데이터셋 라이선스 리뷰에 따르면, 검토한 1,200개 이상의 데이터셋에서 라이선스는 8개 범주로 갈렸고, 협상 없이 곧바로 상업적으로 쓸 수 있는 것은 Apache-2.0, MIT, CC BY 4.0 세 가지뿐이었다(truelabel.ai, 2026). 게다가 로보틱스 데이터는 출처 체인이 길다. 널리 쓰이는 DROID 데이터셋은 13개 기관, 50여 명, 12개월, 564개 장면이 얽혀 있어, 권리 관계를 되짚는 것만으로도 감사 난이도가 구조적으로 높아진다. 물리 AI 데이터일수록 청구서가 커지는 이유다.
같은 리뷰에서, 사전 감사와 큐레이션을 거친 디렉토리에서는 "즉시 상업 사용 위험"이 있는 데이터셋 비율이 3.8%까지 떨어졌다. 원시 카탈로그의 10~20%가 큐레이션을 거치면 이 수준으로 낮아진다는 뜻이다. 다시 말해 낮은 위험 비율 자체가 이미 누군가 감사 노동을 대신 치른 결과물이다.
시간을 금액으로 — 무료 데이터의 진짜 청구서
시간을 돈으로 바꾸려면 시급이 필요하다. 미국 기준으로 데이터 엔지니어의 블렌디드 시급은 대략 65달러 선이다(ZipRecruiter). 규제 산업이나 시니어 인력이 붙으면 200달러까지 올라간다. 그리고 모호 조항 해석과 상업 이용 판단에 들어가는 변호사 시간은 시급 349달러 안팎으로 책정된다(Clio 2026). 이 세 가지 단가를 시나리오별로 조합하면 아래와 같은 비용 모델이 나온다.
| 변수 | Low (라이선스 명확) |
Base (혼재) |
High (대부분 불명확·규제) |
|---|---|---|---|
| 데이터셋 수 | 5 | 7~10 | 10 |
| 총 감사 시간 | ~15h | 56~80h | 160h |
| 엔지니어 단가 | $65/h | $65/h | $200/h |
| 변호사 개입 | 없음 | 일부($349/h) | 상당량($349/h) |
| 총 비용 | ~$980 | $3,640~6,720 | ~$30,000 |
가장 흔한 Base 시나리오에서 학습 프로그램 하나의 라이선스 감사 비용은 3,600달러에서 6,700달러 사이다. 라이선스가 명확하고 데이터셋이 적으면 1,000달러 미만으로 끝나지만, 규제 산업이라 시니어 인력과 변호사가 대거 붙는 High 시나리오에서는 3만 달러대로 뛴다. "무료 데이터 = 0원"이라는 착각을 교정하는 총소유비용 공식은 간단하다. 총비용 = 확보 0원 + 검증 N원이고, 이 N이 지금까지 아무도 예산에 잡지 않던 항목이다.
한국 기준으로 옮기면 스케일이 달라진다. 정규직 데이터 인력의 연봉을 시급으로 환산하면 시간당 3만 원 안팎이지만, 프리랜서 실거래가는 시간당 4만~7만 원 선이다. 성격이 다른 두 숫자이므로 함께 써야 오해가 없다. 대략 미국 대비 40~50% 수준으로 보면 무리가 없다.
감사할까, 사올까 — Build vs Buy
감사 비용이 나왔으니 자연스러운 질문이 따라온다. 직접 40~160시간을 쓸 것인가, 아니면 권리가 정리된 데이터를 돈 주고 살 것인가. 답을 내려면 대체 조달의 값을 알아야 한다. 기존 무료 데이터를 검증만 하는 자체 감사가 5~10개 규모에서 1,000달러에서 3만 달러대인 반면, 라이선스가 깨끗한 데이터를 새로 확보(캡처·라벨링)하는 값은 자릿수가 다르다.
| 선택지 | 비용(5~10개 규모) | 성격 |
|---|---|---|
| 자체 라이선스 감사 | $1,000~$30,000 | 기존 무료 데이터를 검증만 |
| 검증 디렉토리(재분류) | 무료(가격표 없음) | 자원봉사 셀프 리포트, 법적 검증 아님 |
| 신규 데이터 확보 A | $25,000~60,000 | 권리 정리된 데이터 신규 캡처 |
| 신규 데이터 확보 B | $80,000~120,000 | 전문 라벨링 벤더 |
| 신규 데이터 확보 C | $200,000~300,000+ | 대형 벤더 풀스택 조달 |
감사는 언제나 대체 조달보다 싸다. 그런데 눈여겨볼 공백이 있다. 기존 오픈 데이터를 "새로 만들지 않고 검증만 사서 쓰는" 중간 시장이 아직 형성되지 않았다. DPI가 공개한 Commercially-Verified-Licenses조차 제3자 법적 검증이 아니라 자원봉사자들의 무료 재분류이고, 셀프 리포트에 기반한다(DPI). "무료 감사"와 "수만 달러짜리 신규 캡처" 사이의 넓은 공간에 아직 가격표가 붙지 않았다는 뜻이다.
이 공백이 유독 얄궂은 이유는 데이터를 사고파는 시장 자체는 빠르게 커지고 있기 때문이다. AI 학습 데이터 라이선싱 시장은 2025년 48억 달러에서 2026년 57억 달러로, 2034년에는 226억 달러까지 커질 것으로 전망된다(연평균 약 19%; Quartz). 그런데 이 돈은 대부분 새 데이터를 확보하고 라벨링하는 쪽으로 흐른다. 정작 "남이 풀어 놓은 무료 데이터를 내가 써도 되는지"를 대신 정리해 주는 검증 서비스는 이 성장의 바깥에 있다. 시장은 커지는데 데이터의 투명성은 오히려 뒷걸음쳤다는 진단(Stanford Foundation Model Transparency Index, 2025)도 이 엇갈림과 같은 방향을 가리킨다. 돈이 몰리는 곳과 병목이 걸린 곳이 어긋나 있는 셈이다.
감사는 비용이 아니라 보험료다
감사를 건너뛴 대가를 반대편에 놓아 보면 계산이 분명해진다. 데이터셋 하나 감사 비용은 260달러에서 3,200달러 수준이다. 그런데 감사를 생략했다가 권리를 침해했을 때의 청구서는 자릿수가 다르다.
| 항목 | 금액(1건 기준) |
|---|---|
| 데이터셋 1개 감사 | $260~$3,200 |
| 저작물 1건당 실제 합의가(Anthropic) | ~$3,113 |
| 미국 법정손해배상 상한 | $150,000 |
| EU AI Act 벌금 상한 | 최대 €15M 또는 매출 3% |
데이터셋 하나 감사 비용은 저작물 1건당 실제 합의가와 이미 비슷하고, 법정손해배상 상한과는 수십에서 수백 배 차이가 난다. 여기에 규제 변수가 더해진다. EU AI Act의 데이터 거버넌스 요건이 2026년 8월에 전면 시행되며, 범용 AI 제공자는 학습 데이터의 "충분히 상세한 요약"을 공개할 의무(Article 53(1)(d))를 진다. 위반 시 벌금은 최대 1,500만 유로 또는 전 세계 매출의 3%다(EU AI Act Article 99). 감사는 이제 "하면 좋은 일"에서 "안 하면 벌금 나는 일"로 성격이 바뀌었다. 안 하는 것 자체가 비용이다.
한 가지 흔한 오해도 정리해 둔다. "오픈소스니까 자유롭게 쓸 수 있다"는 통념은 반례가 있다. 개발자 코드를 학습에 썼다는 이유로 제기된 GitHub Copilot 관련 소송은 대부분 기각됐지만 계약 위반 주장 일부가 여전히 진행 중이다. 합의로 끝난 사례가 아니라, 오픈이 곧 무제한 사용이 아니라는 것과 장기 소송 리스크를 동시에 보여주는 경고에 가깝다.
진입장벽은 확보가 아니라 검증이다
여기까지의 계산이 가리키는 결론은 하나다. 오픈 데이터 시대의 경쟁력은 더 많은 데이터를 가지는 데 있지 않다. 데이터는 이미 넘친다. 진짜 희소 자원은 그 데이터를 "써도 된다"고 싸고 빠르게 증명하는 능력이다. 확보가 아니라 검증이 진입장벽이 된 것이다.
이 검증 노동을 들여다보면 자동화되는 부분과 저항하는 부분이 뚜렷이 갈린다. 라이선스 유형을 식별하고 재배포 조건을 확인하는 앞단은 이미 자동화가 진행 중이다. DPI의 Data Provenance Explorer 같은 도구가 그 방향을 보여준다. 반면 "research only가 우리 배포 시나리오에서 무엇을 금지하는가", "이 상업적 이용이 안전한가"를 최종 판단하는 뒷단은 여전히 사람, 그것도 변호사의 시간을 요구한다. 시급 349달러가 사라지지 않는 자동화 저항 구간이다.
데이터 품질을 이야기할 때 우리는 흔히 성능을 떠올린다. 하지만 "쓸 수 있는 데이터"의 정의에는 법적 사용 가능성도 들어간다. 라이선스가 불명확하거나 재배포가 금지된 데이터로 학습한 모델은, 성능이 아무리 좋아도 상업 배포가 막히는 "권리가 오염된 표현"을 내부에 담는다. AI-Ready Data란 결국 권리까지 정리된 데이터이고, 감사 비용은 데이터를 진짜 ready 상태로 만드는 비용의 일부다. DPI가 측정한 70%대 누락률은 곧 "대부분의 오픈 데이터가 아직 ready가 아니다"라는 정량 증거이기도 하다.
페블러스가 오래 반복해 온 명제가 있다. 성능 벤치마크보다 데이터의 족보(provenance)를 먼저 묻는다는 것이다. 이 글은 그 명제에 처음으로 가격표를 붙였다. 데이터 족보를 확인하는 일은 이제 계산 가능한 비용이고, 그 비용을 낮추는 도구와 프로세스는 자동화되는 앞단에서 실질적인 가치를 만든다. 특히 실증 사례가 로보틱스였다는 점은 물리 AI 영역과 곧장 이어진다. 출처 체인이 긴 물리 데이터일수록 감사 난이도와 비용이 구조적으로 커지기 때문이다.
독자를 위한 체크리스트
다음 예산 회의에 그대로 가져갈 수 있는 항목들이다.
- 데이터 예산에 "확보"뿐 아니라 "검증"(라이선스 감사) 항목을 별도로 잡는다.
- 데이터셋 수 × 3.5~15시간으로 초기 감사 시간을 추정하고, 라이선스 파일이 없으면 하한을 올린다.
- 모호 조항 해석과 상업 이용 판단에는 반드시 법무 단가를 별도 반영한다.
- "라이선스 없음"은 "써도 됨"이 아니라 "직접 확인"으로 읽는다.
- EU 시장을 겨냥한다면 2026년 8월 데이터 거버넌스 요건을 감사 범위에 포함한다.
Editor's Note
페블러스는 데이터의 출처와 권리를 확인하는 작업을 데이터 품질의 일부로 다룬다. 이 글의 비용 모델은 특정 제품의 홍보가 아니라, 오픈 데이터 시대에 모든 데이터 팀이 마주하는 공통 문제를 정량화하려는 시도다.
참고문헌
학술
- 1.Longpre, S., et al. (2023). "The Data Provenance Initiative: A Large Scale Audit of Dataset Licensing & Attribution in AI." arXiv:2310.16787.
- 2.Longpre, S., et al. (2024). "A large-scale audit of dataset licensing and attribution in AI." Nature Machine Intelligence.
- 3."The Economics of AI Training Data: A Research Agenda." arXiv:2510.24990.
업계·1차 출처
- 4.truelabel.ai. (2026). "Hugging Face Robotics Dataset License Review." truelabel.ai.
- 5.Hugging Face & NVIDIA. (2026). "Open Data for AI." Hugging Face Blog.
- 6.Data Provenance Initiative. "Commercially-Verified-Licenses." Hugging Face Datasets.
인건비·비용 벤치마크
- 7.ZipRecruiter. "Data Engineer Salary." ZipRecruiter.
- 8.Second Talent. "Freelance Data Engineer Hourly Rate (US)." Second Talent.
- 9.Clio. (2026). "Compare Lawyer Rates — 2026 Legal Trends." Clio.
- 10.ECOMPLY. "What Is the Cost of a DPIA?." ECOMPLY.
리스크·규제
- 11.The Lyon Firm. "Anthropic AI Copyright Settlement." The Lyon Firm.
- 12.EU AI Act. "Article 99 — Penalties." artificialintelligenceact.eu.
- 13.Holistic AI. "Penalties of the EU AI Act." Holistic AI.
- 14.Quartz. "AI Training Data Pricing & Licensing Deals Market." Quartz.
※ 감사 시간(40~160시간)과 비용 모델은 확정 벤치마크가 아니라 유사 컴플라이언스 작업을 준거로 한 상향식 추정이며, 시나리오별 가정을 본문에 투명하게 밝혔다. 로보틱스 미표기 비율(10~20% vs 큐레이션 후 3.8%)은 원시 카탈로그와 큐레이션 디렉토리의 성격 차이로 병기했다.