Executive Summary

웹에서 긁어 온 텍스트는 그대로 쓸 수 없다. 그래서 현대 사전학습 코퍼스(Dolma, FineWeb, DataComp-LM)는 세 겹의 정제를 거친다. 같은 문서가 여러 번 들어오는 것을 막는 중복 제거, 원치 않는 언어를 걸러내는 언어 필터, 그리고 문서가 얼마나 쓸 만한가를 점수화하는 품질 분류기다.

이 중 품질 분류기가 근래 성능 향상의 숨은 공신이었다. FineWeb-Edu의 교육적 가치 분류기가 대표적이다. Llama-3-70B가 생성한 합성 라벨로 훈련한 경량 회귀 모델인데, 이 필터로 걸러낸 데이터로 학습하자 MMLU가 12%, ARC가 24% 올랐다. "이 문서가 교과서처럼 유익한가"를 기계가 채점하게 한 것이 실제로 통했다.

여기서 놓치기 쉬운 사실이 하나 있다. 이 필터들이 채점하는 대상은 언제나 문서 전체다. "이 페이지가 위키피디아스러운가", "교육적 가치가 있는가"를 문서 단위로 본다. 잘 쓰인 뉴스 기사 한 편이 있으면, 그 기사는 품질 높음으로 통과한다. 문제는 그 기사 밑에 달린 댓글까지 함께 딸려 온다는 데 있다.

공격자는 모델 학습 파이프라인에 접근할 필요가 없다. 자신이 소유하지도 않은 웹페이지의 댓글창이나 공개 게시판에 조작 텍스트를 심으면 된다. 소셜 프로파간다 캠페인이 쓰는 것과 똑같은 방식이다. 연구진이 스캔한 페이지의 3.4%가 댓글 플랫폼을 갖고 있었고, 그 상당수가 인증 없이 즉시 게시가 가능했다. WordPress 한 곳이 그 인프라의 85.2%를 차지했다.

연구진은 오염이 학습 데이터에 도달할 확률을 세 단계의 곱으로 분해했다. 댓글창이 있어 주입이 가능한가, 크롤러가 그 댓글을 실제로 담아 오는가, 정제 필터를 통과하는가. 각 관문의 생존율은 아래와 같다.

눈길을 끄는 건 품질 필터의 생존율이 47.1%로 세 필터 중 가장 높다는 점이다. 오염을 가장 잘 걸러낼 것 같던 관문이 오히려 가장 잘 통과시킨다. 이유는 3절에서 다룬다.

0.13%가 왜 무시할 수 없는 수치인지는 오염이 실제로 모델에 남는 방식에서 드러난다. 연구진은 OLMo-3 계열의 65M~1.3B 파라미터 모델에 토큰의 0.1%를 오염시켜, 실존 경쟁 브랜드(시트로엥 대 르노, 보잉 대 에어버스, 화이자 대 모더나)에 대한 선호도를 측정했다. 결과는 오염이 유도한 쪽으로 선호도가 18.6~19.0% 이동했고, 이 편향은 모델 크기와 무관하게 일정했다.

더 곤란한 것은 오염이 잘 지워지지 않는다는 점이다. 지도 미세조정(SFT)을 거쳐도 65M 모델은 효과의 40%를 유지했고, 1.3B 모델도 완전히 사라지진 않았다. AI로 문서를 재작성해 순화하는 흔한 정제 관행(WRAP류)을 거쳐도 신념 조작형 오염의 65.3%가 살아남았다. 주입 포맷을 대화형·문답형·라벨 없음으로 바꿔 봐도 세 가지 모두 강하게 오염됐다.

선행 연구(Souly 외, 2025)는 단 250개의 오염 문서만으로도 백도어를 심을 수 있음을 보였다. 0.13% 포함률을 역산하면, 10만~100만 개 페이지에 댓글을 다는 것으로 그 250개를 확보할 수 있다. 자동화된 댓글 봇이 하루면 도달하는 규모다. 작은 확률이 큰 규모를 만나면 더 이상 작지 않다.

이제 품질 필터의 생존율이 왜 가장 높았는지로 돌아온다. 품질 분류기는 문서 전체의 통계적 그럴듯함을 본다. 그런데 오염은 낮은 품질의 문서로 들어오지 않는다. 이미 품질 높음으로 통과된 뉴스 기사나 블로그 글에 무임승차한 이물질이다. 필터 입장에서 그 문서는 여전히 교육적 가치가 높은 문서이고, 댓글 몇 줄은 그 판정에 거의 영향을 주지 않는다. 오염은 필터의 표적이 아니라 사각지대에 있다.

중복 제거도 마찬가지다. 같은 댓글이 여러 페이지에 반복되면, 필터에는 오히려 여러 출처에서 확인된 콘텐츠처럼 보여 생존에 유리할 수 있다. 반복 게시가 봇 탐지의 단서가 될 수 있지만, 현재 파이프라인엔 그것을 검사하는 전용 단계가 없다.

결국 문제는 성능이 아니라 관점이다. 정제 파이프라인은 "이 텍스트가 무엇을 말하는가"라는 콘텐츠 신호만 검사한다. "이 텍스트를 누가, 어떤 신뢰 경로로 올렸는가"라는 출처 신호는 애초에 설계에 들어 있지 않다. 이 둘의 차이가 이 논문이 드러낸 구멍의 정체다.

논문이 제안하는 완화책 세 가지 — 댓글을 본문과 분리해 별도 검사하기, 인증 없는 개방형 게시 폼이 있는 페이지를 다운웨이트하는 출처 인지 필터링, 크롤 시점 간 콘텐츠 급변을 잡는 시간적 일관성 검사 — 는 방향이 하나로 모인다. 필터링의 기준을 콘텐츠 신호에서 소스·제출 경로 신호로 옮기자는 것이다.

완화가 정제 파이프라인 안에서만 가능한 것도 아니다. 앞서 봤듯 댓글 인프라의 85.2%를 WordPress 한 곳이 차지하므로, 소수 플랫폼이 인증 게시나 속도 제한, 이상 패턴 모더레이션을 도입하는 것만으로도 주입 가능성 자체가 크게 낮아진다. 정제가 사후에 걸러내야 할 문제를, 애초에 심기 어렵게 만드는 문제로 되돌리는 접근이다.

데이터를 사거나 만드는 실무자에게 이 논문은 개념 하나를 다시 정의한다. "정제됐다"는 인증은 그 데이터가 문서 품질 점수를 통과했다는 뜻이지, 그 안의 모든 텍스트가 신뢰할 만한 경로로 왔다는 보증이 아니다. 정제는 통과 검증이 아니라 통계적 그럴듯함 검사에 가깝다.

논문 스스로도 이 수치가 완결된 진단이 아님을 밝힌다. 프로덕션 크롤러의 대리 지표로 Common Crawl을 썼고, 추정은 단일 파이프라인(Dolma 3)을 기준으로 삼았으며, 실제 라이브 주입 대신 샌드박스에서 검증했다. 그래서 0.13%라는 숫자는 정답이라기보다, 내 데이터가 어디서 왔는지 스스로 점검해야 할 이유에 가깝다.

그래서 벤더의 "정제·검증 완료" 문구를 받을 때, 질문의 층위를 하나 더 올릴 필요가 있다. 아래는 그 출발점이 될 만한 물음들이다.

• 이 데이터셋의 품질 점수는 문서 단위인가, 아니면 문서 안 세그먼트(본문·댓글·인용)를 구분해서 매기는가?
• 개방형 댓글·포럼·리뷰에서 온 텍스트가 얼마나 섞여 있고, 그 출처가 라벨로 남아 있는가?
• 같은 문장이 여러 출처에 반복될 때, 그것을 신뢰의 근거로 보는가 봇 활동의 단서로 보는가?
• 크롤 시점 간에 콘텐츠가 급변한 페이지를 걸러내는 시간적 일관성 검사가 있는가?

이 질문들은 모두 하나의 축으로 수렴한다. 데이터의 계보(provenance) — 무엇이 쓰였나를 넘어, 어디서 누구의 손을 거쳐 왔나를 추적할 수 있는가. 정제 이후에도 남는 문제는 바로 여기에 있고, AI-Ready Data가 콘텐츠 품질만이 아니라 출처 신뢰까지 다뤄야 하는 이유도 여기서 나온다. 데이터가 "깨끗하다"는 말은, 그 데이터가 어디서 왔는지 말할 수 있을 때 비로소 검증 가능한 주장이 된다.