Executive Summary

이 전환에 실린 압력의 크기는 네 개의 숫자로 좁혀진다. 규제가 실제로 발효되는 날, 그 앞에서 준비를 마쳤다고 답한 기업의 비율, 학습 데이터의 계보가 얼마나 소수의 원천으로 수렴하는지, 그리고 어긋났을 때 치를 벌금이다.

데이터 팀의 일상은 대개 이렇게 흘러간다. 공개 웹에서 크롤러가 긁어 온 텍스트 덤프가 한쪽에 쌓이고, 데이터 브로커와 계약해 정식으로 사 온 패널 데이터가 다른 한쪽에 도착한다. 파인튜닝을 앞두고 이 둘을 같은 오브젝트 스토리지 버킷에 부어 넣고, 셔플하고, 학습을 돌린다. 각 행이 어느 쪽에서 왔는지 표시하는 세그먼트 라벨은 붙지 않는다. 지금까지는 아무 문제가 없었다.

데이터 라이선스 실무를 다루는 GSDSI의 가이드는 이 관행을 한 문장으로 정리한다. "스크래핑 덤프와 브로커 라이선스를 세그먼트 라벨 없이 한 학습 버킷에 섞는 것은 2026년 감사 실패다." 눈여겨볼 대목은 실패의 조건이다. 데이터에 저작권 침해가 있어서, 혹은 개인정보가 새어서 걸리는 것이 아니다. 두 출처를 나중에 다시 갈라낼 수 없다는 사실 하나만으로 감사를 통과하지 못한다.

출처 분리가 갑자기 실무 요구가 된 데는 이유가 있다. 규제, 소송, 학술 근거가 2026년에 한꺼번에 밀려왔다.

2.1규제 — EU AI Act가 문서화를 의무로 바꿨다

EU AI Act는 2026년 8월 2일부터 투명성 조항을 본격 적용한다. Article 10은 고위험 AI 시스템의 학습·검증·테스트 데이터셋에 대해 출처, 범위, 주요 특성을 문서화하도록 요구한다. Article 12는 로깅을 통한 추적성을 요구하고, 범용 AI 모델 제공자는 학습 데이터 유형을 표준 템플릿으로 요약해 공개해야 한다. 위반 시 벌금은 전 세계 연매출의 최대 7% 또는 3,500만 유로다. 그런데 딜로이트가 500개 기업 관리자를 대상으로 한 설문에서 "충분히 준비됐다"고 답한 곳은 35.7%에 그쳤다.

2.2소송 — 쟁점이 "학습"에서 "조달 증명"으로 옮겨 갔다

미국의 소송 지형을 보면 방어선이 어디로 이동했는지 보인다. Reddit이 Anthropic을 상대로 낸 소송은 저작권이 아니라 계약 위반과 부당이득이라는 주법 청구를 건다. Getty Images는 약 1,200만 장의 이미지가 무단 복제됐다고 주장한다. Clearview AI는 생체정보보호법(BIPA) 위반과 관련해 회사 지분으로 합의했다. 이 사건들의 공통점은 학습 행위 자체의 위법성이 아니라, 데이터를 어디서 어떻게 확보했는지를 증명하지 못하는 지점에서 책임이 갈린다는 것이다.

2.3학술 근거 — 계보가 붕괴하면 오염도 못 잡는다

데이터 계보를 추적한 ATLAS 연구는 왜 이것이 기술 문제이기도 한지 보여 준다. 강화학습(RLVR) 학습 인스턴스 145만 건 중 99.7% 이상이 단 20개의 원천까지 거슬러 올라간다. 대부분의 데이터셋이 소수의 공통 조상을 공유한다는 뜻이다. 출처를 추적하지 못하면 어떤 데이터가 벤치마크를 오염시켰는지, 새 데이터를 넣어야 할지 뺄지도 판단할 수 없다. 계보는 규제 서류이기 전에 데이터 품질을 지키는 도구다.

스크래핑 데이터와 라이선스 데이터를 한 테이블에 넣으면 안 되는 실무적 이유는 단순하다. 두 출처는 애초에 서로 다른 문법으로 출처를 증명하기 때문이다. 증명에 필요한 서류의 종류가 다르다.

브로커에게서 사 온 라이선스 데이터는 계약 계통으로 증명한다. 마스터서비스계약(MSA) 스케줄, 소스 벤더 리스트, 동의나 공개기록에 근거한 적법 권원, 패널 SDK 식별자, 버전이 매겨진 딕셔너리가 사슬을 이룬다. 반면 스크래핑 데이터는 수집 계통으로 증명한다. 어떤 URL에서 언제 긁었는지의 로그, robots.txt를 어떻게 판단했는지의 이력, 이용약관 검토 기록, 삭제 요청(takedown) 큐가 근거가 된다.

이 둘은 필드 구조부터 갈라진다. 계약 계통의 증거를 담는 칸과 수집 계통의 증거를 담는 칸이 애초에 같지 않기 때문이다. 그래서 두 출처를 같은 테이블에 부어 넣는 순간, 어느 쪽의 증명도 완전하게 유지되지 못한다. MSA 스케줄로 스크래핑 로그를 대신할 수 없고, robots.txt 판단 이력으로 브로커 계약을 대신할 수 없다.

출처를 새기지 않고 섞어 버린 데이터는 당장은 아무 비용도 청구하지 않는다. 비용은 나중에, 그것도 이자가 붙어서 돌아온다. 구체적으로 세 가지 자리에서 청구서가 날아온다.

첫째, 삭제 요청이 전파되지 않는다. GDPR 17조의 삭제권 요청이 들어왔을 때, 그 개인의 데이터가 어느 스냅샷 어느 행에 있었는지 특정하려면 출처와 버전이 살아 있어야 한다. 섞여 있으면 "어딘가에 있었을 것"이라는 답밖에 못 한다. 둘째, 모델 롤백이 증명되지 않는다. 문제가 생긴 체크포인트를 어느 브로커 파일이 학습시켰는지 밝히려면 스냅샷 단위의 SHA-256 해시가 있어야 한다. 해시 없이는 "이 가중치가 그 데이터에서 나왔다"를 되짚을 수 없다.

셋째, 오염 탐지와 재현이 무너진다. 앞서 본 ATLAS의 결과처럼 소수의 원천이 데이터셋 대부분을 낳는 구조에서, 계보가 끊기면 어떤 원천이 벤치마크를 오염시켰는지 사후에 추적할 수 없다. 재현 실험도, 정정도 불가능해진다.

정리하면 "깨끗한 데이터"의 정의가 바뀌고 있다. 오류가 없는가에서, 어디서 왔는지 증명할 수 있는가로. 데이터 품질에는 이제 계보가 포함된다. 오탈자 없는 정갈한 데이터셋이라도 출처를 되짚지 못하면, 2026년의 기준으로는 품질 미달이다.

데이터 팀이 최소한으로 갖춰야 할 실무는 세 가지로 좁혀진다.

• 출처별 분리 스냅샷. 스크래핑 출처와 라이선스 출처(더 나아가 브로커·SKU 단위)를 세그먼트 라벨로 나눠 스냅샷으로 보관한다. 섞기 전에 라벨을 먼저 붙인다.
• 버전 해시. 각 스냅샷에 SHA-256 해시를 매겨 모델 가중치·학습 설정과 함께 MLOps 저장소에 보관한다. 어떤 체크포인트가 어떤 데이터에서 나왔는지 되짚는 열쇠다.
• 연 1회 삭제 드릴. 합성 시드 행 하나를 심고, 삭제 요청이 학습 파이프라인 끝까지 전파되는지 종단으로 실측한다. 훈련이 아니라 리허설이다.

세 가지 모두 새 기술을 요구하지 않는다. 요구하는 것은 섞기 전에 라벨을 붙이는 습관, 그 하나다.

학술

• 1.Huang, H.-Y., Liu, W., Tang, C., Lee, S., Yang, K., Chen, Y., Yang, S., & Wu, Y. (2026). "RLVR Datasets and Where to Find Them: Tracing Data Lineage for Better Training Data." arXiv:2605.26971.

업계·보도

• 2.GSDSI. (2026). "Data Provenance & Lineage for AI Training Licenses." GSDSI Resources.
• 3.Deloitte. (2026). EU AI Act 준비도 설문 (기업 관리자 500명 대상) — "충분히 준비됐다" 35.7%.
• 4.Reddit, Inc. v. Anthropic PBC, Cal. Super. Ct. (2025). 계약 위반·부당이득 주법 청구.
• 5.Getty Images v. Stability AI (US/UK 병행 소송). 약 1,200만 이미지 무단 복제 주장.

공식 문서

• 6.European Union. (2024). Artificial Intelligence Act, Articles 10 & 12, Annex IV — 투명성 조항 2026-08-02 시행.