Executive Summary
어떤 사람이 GDPR의 잊힐 권리를 근거로, 또는 저작권자가 철회 요청을 근거로 "내가 쓴 것을 학습 데이터에서 빼 달라"고 요구한다고 하자. 이 요구는 결국 하나의 작업으로 번역된다. 수억 줄이 뒤섞인 학습 코퍼스에서 그 사람 몫만 정확히 도려내는 일이다. 그런데 지금 현장이 쓰는 데이터 버전 관리 도구는 대부분 파일이나 데이터셋을 단위로 출처를 기록한다. 그래서 답할 수 있는 건 두 가지뿐이다. 그 사람이 손댄 파일을 통째로 지우거나, 아예 손대지 않거나.
2026년 5월 공개된 OriginBlame 논문은 이 비용을 실제 데이터로 쟀다. 21만여 건의 중국어 위키백과 문서에서 지분 1%짜리 기여자 한 명의 삭제 요청을 데이터셋 단위로 처리하면, 정말 지워야 할 양의 101배가 함께 날아간다. 나머지 99%는 삭제와 무관한, 무고한 데이터다. 이 글은 그 과잉삭제가 왜 구조적으로 발생하는지, 그리고 저자 신원을 토큰 단위까지 따라 내려가는 출처 추적이 이 배율을 1.3배까지 어떻게 줄이는지를 본다.
핵심은 삭제 이후에 붙일 수 없는 정보라는 점이다. 어느 토큰이 누구에게서 왔는지는 데이터를 기록하는 그 순간에 함께 남겨 두어야 하며, 모델이 이미 학습을 마친 뒤에는 소급해서 복원할 수 없다. 넣을 때의 품질에 이어, 뺄 때의 정밀도가 AI-레디 데이터의 다음 조건으로 떠오르는 이유다.
본론에 앞서, 이 문제의 윤곽을 숫자 네 개로 먼저 잡아 두자. 데이터셋 단위 삭제가 무고한 데이터를 최대 몇 배까지 함께 지우는지, 저자 단위 철회를 지원하던 기존 도구는 몇 개였는지, 정밀한 삭제 대상이 머신 언러닝 품질을 얼마나 끌어올리는지, 그 정밀도의 대가로 파이프라인이 얼마나 느려지는지다.
101배
데이터셋 단위 과잉삭제
지분 1% 저자 철회 시 · 위키백과 21.9만 문서 실측
0개
저자 철회를 지원하던 도구
DVC · LakeFS · MLflow 등 전부 파일/데이터셋 단위
+42%
NPO 언러닝 개선
정밀 forget set이 같은 크기 무작위 대비
1.3~19%
파이프라인 속도 손실
출처를 토큰까지 기록하는 대가 · 통합 방식별
삭제 요청은 저자 단위로 온다
머신 언러닝 연구는 지난 몇 년간 한 가지 질문에 집중해 왔다. 지워야 할 데이터 묶음(forget set)이 주어졌을 때, 학습이 끝난 모델에서 그 흔적을 어떻게 잊게 만들 것인가. NPO, RMU, Gradient Ascent 같은 알고리즘이 전부 이 물음에 답하려는 시도다. TOFU나 MUSE 같은 대표 벤치마크도 forget set을 미리 정해 놓고 시작한다. 가상의 저자와 사전 정의된 코퍼스를 손에 쥐여 주고, "이제 이걸 잊혀 보라"고 요구하는 구성이다.
그런데 현실의 삭제 요청은 그런 모양으로 도착하지 않는다. 요청은 "이 파일들을 잊어라"가 아니라 "저 사람을 잊어라"로 온다. GDPR의 잊힐 권리도, 저작권자의 학습 데이터 철회도, 최근 각국에서 다투는 AI 학습 데이터 소송도 형태는 같다. 특정 저자의 이름을 지목하고 그 사람 몫만 정확히 빼라는 요구다. 그렇다면 애초에 "그 사람 몫"이 코퍼스 어디에 흩어져 있는지부터 찾아야 하는데, 벤치마크는 바로 그 앞 단계를 건너뛴 채 시작한다.
문제는 그 앞 단계를 받쳐 줄 도구가 사실상 없다는 데 있다. 데이터 파이프라인에서 널리 쓰이는 버전 관리·계보 추적 도구를 저자 철회라는 기준으로 늘어놓으면 공백이 뚜렷하다.
| 도구 | 출처 기록 단위 | 저자 철회 | 라이선스 추적 |
|---|---|---|---|
| DVC | 파일 / 데이터셋 | ✗ | ✗ |
| LakeFS | 데이터셋 / 테이블 | ✗ | ✗ |
| Delta Lake | 테이블 | ✗ | ✗ |
| MLflow · W&B | 실험 메타데이터 (원본 아님) | ✗ | ✗ |
| OriginBlame | 줄(저작권 단위) + 토큰 | ✓ | ✓ |
저자가 낸 데이터를 콕 집어 철회하는 기능 자체가 지금까지 어느 도구에도 없었다. 이 공백은 한 논문의 주장에 그치지 않는다. 지난 10년의 문헌 95편을 계통적으로 검토한 별도의 서베이도 같은 결론에 이른다. 학습에 잘못 흡수된 데이터를 학습이 끝난 언어모델에서 지우는 일반적 해법은 아직 없으며, 특히 잊힐 권리가 LLM 영역에서 갈수록 무거워지고 있다는 진단이다. 잊힐 권리를 상정하지 않고 설계된 데이터 인프라 위에서, 업계 전체가 뒤늦게 이 문제와 씨름하고 있는 셈이다.
지분 1%를 지우려다 99%를 지운다
데이터셋 단위 삭제가 왜 그렇게 비싼지는 위키백과를 예로 들면 곧바로 보인다. 위키 문서 한 편은 수백 명이 함께 고쳐 온 공동저작물이라 파일 단위로 쪼갤 수가 없다. 한 사람의 기여가 문서 전체에 얇게 발려 있으니, 파일 단위 삭제와 데이터셋 단위 삭제가 사실상 같은 뜻이 된다. 중간 선택지가 없다. 그 사람이 손댄 문서를 통째로 버리거나, 그대로 두거나.
OriginBlame 연구진은 21만 9,555편의 중국어 위키백과 문서(실제 기여자 48만여 명, CC-BY-SA-4.0)를 놓고, 기여 지분이 서로 다른 네 명의 저자에 대해 줄 단위 삭제와 데이터셋 단위 삭제를 비교했다. 결과는 지분이 작을수록 과잉삭제가 가팔라진다는 것이다.
| 철회 요청 저자 | 데이터 내 지분 | 실제 지워야 할 양 | 데이터셋 단위 과잉삭제 |
|---|---|---|---|
| InternetArchiveBot | 79.5% | 7,953줄 | 1.3배 |
| Walter Grassroot | 17.1% | 1,712줄 | 5.8배 |
| KLBot2 | 5.0% | 499줄 | 20.0배 |
| HuangQQ | 1.0% | 99줄 | 101.0배 |
지분 79.5%인 기여자라면 데이터셋을 통째로 지워도 낭비가 1.3배에 그친다. 어차피 그 문서 대부분이 그 사람 것이기 때문이다. 반대로 지분 1%인 HuangQQ의 요청을 데이터셋 단위로 처리하면, 실제로 지워야 할 99줄을 위해 9,999줄까지 함께 사라진다. 나머지 99%는 다른 수백 명이 남긴, 삭제와 아무 상관 없는 기여다. 작은 목소리 하나를 지우려다 공동체 전체의 기록을 태우는 셈이다.
이 패턴이 위키만의 특성일까 봐, 연구진은 성격이 전혀 다른 데이터로 교차검증했다. 리눅스 커널 소스(git blame 기준 기여자 6,964명, 파일 4만 4천여 개)에서도 파일 단위 삭제는 필요한 것보다 훨씬 많은 줄을 지웠다. 규모가 커질수록 배율이 완화되긴 하지만 0으로 수렴하지는 않았다. 줄 단위 정밀도가 없으면 과잉삭제는 도메인과 규모를 가리지 않고 남는 구조적 손실이라는 뜻이다.
▲ 페블러스 원본 도식 (OriginBlame 실측 표 재해석 — 로그 스케일)
여기서 잊힐 권리의 역설이 드러난다. 한 사람의 권리를 지키려는 삭제가, 삭제를 요청하지 않은 나머지 모두의 데이터를 함께 파괴한다. 데이터셋 단위 출처로는 이 충돌을 피할 방법이 없다. 정밀하게 도려낼 칼이 없으면, 권리 보호와 데이터 보존 중 하나를 통째로 포기해야 한다.
발굴이 아니라 전파
정밀하게 도려내려면 어느 데이터가 누구에게서 왔는지를 알아야 한다. 여기서 OriginBlame이 택한 방향이 중요하다. 저자를 새로 알아내려는(discover) 도구가 아니라, 이미 소스에 존재하는 저자 정보를 학습 데이터 끝까지 전파하는(propagate) 도구라는 점이다. MediaWiki 리비전 이력이나 GitHub 커밋에는 누가 무엇을 썼는지가 이미 적혀 있다. 문제는 그 정보가 토큰화와 패킹을 거치는 동안 유실되어, 학습 코퍼스가 트레이너 손에 닿을 즈음이면 개별 학습 줄과 원저자의 연결이 끊겨 있다는 데 있다.
그래서 이 도구는 저자·섹션·문서를 SHA-256 해시로 잇는 계층 구조에 그 연결을 붙들어 둔다. 최상위 저자 계층에는 이름과 이메일에서 뽑은 식별자, 그리고 revoked라는 철회 플래그 하나가 있다. 이 필드가 전체 시스템의 단일 진실 공급원이다. 그 아래로 파일 단위 저작권 정보가, 다시 그 아래로 줄 단위 기록이 매달린다. 저자가 철회를 요청하면 저자 전체, 특정 섹션, 특정 줄 가운데 원하는 세분도로 태그만 바꾸면 되고, 실제 물리 삭제는 철회가 선행된 뒤에만 허용되는 별도 연산으로 분리해 안전장치를 뒀다.
줄 단위까지 잡아도 마지막 관문이 남는다. 토큰화와 패킹을 거치면 줄의 경계 자체가 사라진다. 데이터 처리 파이프라인이 토큰화 단계에서 저자 메타데이터를 버리는 것이 기본 동작이기 때문이다. OriginBlame은 이 지점에 독립적인 토큰 인덱스 레이어를 하나 더 둔다. 각 문서가 차지하는 토큰 범위를 앞선 문서들의 누적 토큰 수로 복원하고, 그 범위를 저자 사슬에 다시 잇는다. 그렇게 만든 결과물이 언러닝 알고리즘에 그대로 먹일 수 있는 비트마스크다. 철회된 토큰 자리에 1이 서는 이 마스크가 곧 정밀한 forget set이 된다.
▲ 페블러스 원본 도식 (OriginBlame 아키텍처 재해석 — 저자→파일→줄→토큰 인덱스 전파 구조)
이 모든 추적에는 대가가 따른다. 기존 파이프라인에 기록 지점 한 줄을 더하는 방식이라 통합 자체는 가볍지만, 학습 처리량은 통합 방식에 따라 1.3%에서 19%까지 느려지고, 저장 용량도 1.2~1.3배로 늘어난다. 다만 이 비용은 데이터를 만드는 시점에 한 번 치르는 것이지, 삭제 요청이 올 때마다 반복되지 않는다. 오히려 반대다. 출처가 없으면 삭제 요청 한 건마다 무엇을 지울지 찾는 값비싼 사후 계산을 새로 돌려야 한다.
설계 원칙은 한 문장으로 압축된다. 기록되지 않은 것은 존재하지 않는다. 사후 추론으로 출처를 지어내지 않고, 데이터를 기록하는 그 순간에 마킹된 것만 마킹된 것으로 인정한다. 이 원칙이 시스템의 신뢰성을 지탱하는 동시에, 뒤에서 볼 가장 날카로운 한계를 낳는다.
무엇을 지울지가 결과를 가른다
정밀한 forget set이 이론적 우아함에 그치지 않는다는 것을 연구진은 실제 언러닝 실험으로 보였다. Qwen3-1.7B 모델을 위키 기반 QA 데이터로 파인튜닝한 뒤, 지분이 비슷한 두 저자에 대해 두 가지 forget set을 비교했다. 하나는 줄 단위 출처로 정확히 뽑은 그 저자의 데이터, 다른 하나는 같은 크기의 무작위 데이터다. 지우려는 양은 똑같고, 무엇을 지목했는가만 다른 조건이다.
NPO 알고리즘에서는 정밀한 forget set이 네 개 지표 모두에서 무작위를 앞섰다. 지워야 할 내용을 얼마나 확실히 잊었는지는 평균 42% 더 좋았고, 남겨야 할 지식을 얼마나 지켜냈는지도 23% 더 나았다. 같은 알고리즘, 같은 분량인데 대상을 정확히 골랐다는 이유만으로 결과가 갈렸다. 무엇을 지울지가 어떻게 지울지보다 결과를 좌우한다는 이 실험의 메시지가 여기서 나온다.
정밀도의 효과는 알고리즘이 거칠수록 더 극적으로 드러난다. Gradient Ascent는 두 forget set 모두에서 대상 지식의 붕괴를 피하지 못했지만, 정밀한 쪽은 남겨야 할 지식의 보존력에서 무작위보다 다섯 배 우위였다. 정확히 조준한 삭제는 파괴적인 알고리즘 아래에서도 표적만 깊이 무너뜨리고 주변은 덜 건드리는 국소적 붕괴를 만든다. 반면 RMU는 4비트 양자화 환경과 근본적으로 맞지 않아 사실상 작동하지 않았다. 양자화의 조정 단위가 RMU가 필요로 하는 미세한 은닉상태 변화보다 훨씬 커서, 신호가 반올림에 묻혀 사라졌기 때문이다.
▲ 페블러스 원본 도식 (OriginBlame, Qwen3-1.7B 언러닝 실험 재해석)
그동안 언러닝 연구가 어떻게 잊을 것인가에 힘을 쏟는 사이, 무엇을 잊을 것인가는 이미 아는 셈 치고 넘어갔다. 이 실험은 그 전제를 뒤집는다. 지울 대상을 얼마나 정확히 골랐느냐가 어떤 알고리즘을 쓰느냐만큼, 때로는 그보다 더 결과를 결정한다. 출처 추적은 삭제의 전 단계가 아니라, 삭제 품질 자체를 좌우하는 요인이다.
페블러스가 주목하는 이유
이 블로그가 학습 데이터의 출처를 다뤄 온 각도는 대체로 저작권 감사였다. 누가 만들었는지, 라이선스가 맞는지를 넣는 시점에 확인하는 문제다. 이번 소재는 그 다음 단계, 뺄 때를 가리킨다. 잊힐 권리와 저작권 철회, 각국에서 번지는 학습 데이터 소송이 요구하는 것은 결국 하나다. 이 사람 몫만 정확히 도려내라. 데이터셋 단위 출처로는 이 요구에 전부 지우거나 전혀 안 지우거나로만 답할 수 있고, 그 대가가 최대 101배의 무고한 손실이다.
그래서 AI-레디 데이터의 조건이 한 축 넓어진다. 지금까지 그 조건은 넣을 때의 품질에 맞춰져 있었다. 중복을 걷어내고, 라벨을 바로잡고, 편향을 점검하는 일이다. 여기에 뺄 때의 정밀도가 더해진다. 필요할 때 특정 저자의 기여만 골라 빼낼 수 있는가, 그 삭제가 나머지를 다치게 하지 않는가. 데이터를 잘 넣는 능력과 정확히 빼는 능력은 이제 같은 품질의 앞뒷면이다.
Editor's Note. 이 접근의 가장 정직한 한계가 곧 가장 큰 시사점이다. 출처는 소급해서 붙일 수 없다. 이미 학습에 쓰인 대다수 데이터셋에는 이 기술을 적용할 방법이 아예 없고, 가치는 앞으로 새로 짓는 파이프라인에 처음부터 추적 지점을 심느냐에 달려 있다. 넣을 때 남겨 두지 않은 출처는 뺄 때 만들어 낼 수 없다. 데이터의 품질과 계보를 처음부터 진단 가능한 형태로 다뤄 온 페블러스의 관점에서, 이는 잊힐 권리가 법정에 서기 전에 데이터 설계 단계에서 먼저 준비해야 할 조건이다.
참고문헌
- 1.Xue, H. (2026). "OriginBlame: Record- and Token-Level Data Provenance for AI Training Datasets." arXiv:2607.13037.
- 2.Hohensinner, R., Mutlu, B., Mendoza Estrada, I. G., Vukovic, M., Kopeinik, S., & Kern, R. (2026). "Tracing the Data Trail: A Survey of Data Provenance, Transparency and Traceability in LLMs." arXiv:2601.14311.
- 3.D'Angelo, A., Gullo, F., & Stilo, G. (2025). "The forget-set identification problem." Machine Learning, 114(247).
- 4.Maini, P., Feng, Z., Schwarzschild, A., Lipton, Z. C., & Kolter, J. Z. (2024). "TOFU: A Task of Fictitious Unlearning for LLMs." First Conference on Language Modeling (COLM 2024).
- 5.Zhang, R., Lin, L., Bai, Y., & Mei, S. (2024). "Negative Preference Optimization: From Catastrophic Collapse to Effective Unlearning." arXiv:2404.05868.