Executive Summary
시험 문항을 통째로 기억한 흔적이 모델 자신에게서 직접 나왔다. 닷새 전 arXiv에 올라온 24쪽 프리프린트가 공개 기반모델 넷에게 벤치마크 20종을 풀린 뒤, 답을 적고도 멈추지 않고 이어 쓴 글을 읽은 결과다. 입력에 없던 다음 시험 문항이 선택지와 정답까지 붙어 나왔다. 아직 동료 심사를 거치지 않은 프리프린트이고, 논문이 사후학습 단계의 근거로 든 감사 두 건은 이 연구진의 실험이 아니라 다른 팀의 보고를 인용한 것이다.
여기서 드러난 것은 오염이 시험의 성질이 아니라는 사실이다. 같은 코딩 시험 HumanEval에서 ERNIE 5.5는 문항의 96.3%를 뱉었고, 딥시크의 기반모델은 9.1%에 그쳤다. 어떤 시험에서는 네 모델 모두 한 건도 뱉지 않았다. 그러니 오염 여부를 벤치마크 이름 옆에 적어 두는 식으로는 이 표를 읽을 수 없다. 오염은 모델 하나와 시험 하나가 만나는 자리마다 따로 매겨지는 값이다.
외운 몫을 오답으로 치고 다시 매기면 순위가 바뀐다. 논문은 그렇게 다시 매긴 값을 안티핵 점수라 부르고, 탈오염 절차를 적은 보고서와 오염을 보정한 점수를 기본 관행으로 삼자고 요구한다. 모델을 고르는 일이 학습 데이터의 이력을 확인하는 일이 된다는 뜻이다. 아래 수치와 인용은 논문에서 그대로 옮겼고, 마지막 두 절의 판단은 페블러스가 붙였다.
85.17 → 68.55
ERNIE 5.5의 시험 20종 평균
샌 문항을 오답으로 치고 다시 매긴 값이다. 네 모델 가운데 선두였던 쪽이 이 보정 하나로 맨 끝으로 내려간다
6.7 · 9.1 · 73.8 · 96.3%
같은 HumanEval, 네 모델의 누출률
텐센트·딥시크·샤오미·바이두 순이다. 극단값이 한 모델에만 있지 않다는 것을 이 네 칸이 보여 준다
100.00 → 3.66
ERNIE 5.5의 HumanEval 점수
만점이던 칸이 샌 문항을 덜어내자 3.66으로 남는다. 다만 이 값은 실력의 하한이지 실력 자체가 아니다
이 논문이 직접 돌린 것과 인용해 온 것
논문은 최근 한 달 사이에 벌어진 두 가지 악화를 나란히 보고한다. 하나는 사후학습 단계에서 흔적이 노골적으로 드러났다는 것이고, 다른 하나는 문제가 사전학습 기반모델까지 내려갔다는 것이다. 두 이야기는 같은 초록 안에 이어 붙어 있지만 출처의 등급이 다르다. 앞의 것은 다른 팀의 감사를 인용한 것이고, 이 연구진이 직접 실험을 돌린 것은 뒤의 것 하나다.
먼저 문서의 신원을 밝혀 둔다. 2026년 11월 16일 arXiv에 올라온 24쪽짜리 프리프린트이고, 제목은 "Benchleaking Is Accelerating: Benchmark contamination has worsened sharply in the past month — from post-training down to pre-training base models"이다. 저자는 여덟 명이고 소속은 Xinxu AI와 GAIR로 적혀 있다. 분류는 cs.AI이며, 동료 심사를 거치지 않았다. 공개된 지 닷새 된 글이라는 뜻이고, 아래의 수치를 읽을 때 이 사실이 먼저 붙어야 한다.
1.1앞의 악화는 남의 측정이다
사후학습 단계의 이야기는 이렇다. 논문 본문의 서술을 그대로 옮기면 "Kimi K3.1 states grading rules that exist only in Terminal-Bench's hidden tests as if they were its instructions, in 23.3% of its attempts; its predecessor Kimi K3 never does. When a task file is edited to contradict such a rule, K3.1 keeps applying the old rule." 한 에이전트가 Terminal-Bench의 숨은 시험에만 존재하는 채점 규칙을, 마치 자기가 지시받은 것처럼 시도의 23.3%에서 말했고 이전 세대는 한 번도 그러지 않았다는 것이다. 과제 파일을 고쳐 그 규칙과 어긋나게 만들어도 옛 규칙을 계속 적용했다고도 적는다.
이 23.3%는 이 논문이 잰 값이 아니다. 두 편의 다른 감사에서 인용한 것이고, 그 두 편의 서지가 또 눈여겨볼 만하다. 하나는 Schaeffer와 Räuker가 11월 3일에 낸 R40 Research 기술보고서인데 서지 항목에 "Not peer reviewed"가 그대로 적혀 있고, 다른 하나는 Lo와 Lo가 10월 20일에 낸 Unlap의 연구 글이다. 둘 다 arXiv도 학술지도 아닌 회색문헌이다. 그러니 "사후학습 단계의 오염이 23%"라는 문장을 이 논문의 측정으로 옮기면 오귀속이 된다.
1.2직접 돌린 것은 공개 기반모델 넷이다
연구진이 자기 손으로 돌린 실험은 사전학습 단계다. 공개 가중치로 배포된 기반모델 네 개에 벤치마크 20종을 물었다. 네 모델은 바이두의 ERNIE-5.5-Flash-Base, 딥시크의 DeepSeek-V4-Flash-Base, 텐센트의 Hy3-preview-Base, 샤오미의 MiMo-V2.5-Base다. 넷 다 사후학습을 거치지 않은 사전학습 종료 시점의 체크포인트이고, 누구나 내려받아 자기 모델의 출발점으로 쓸 수 있다는 점이 이 선택의 이유다. 논문의 문장은 "Open base models are the foundation of much downstream research, so benchleaking now affects more than leaderboard rankings." 공개 기반모델은 이후 연구의 바닥이라 벤치리킹의 영향이 리더보드 순위에서 끝나지 않는다는 것이다.
시험 20종의 명단도 밝혀 둔다. TriviaQA, HellaSwag, ARC-Challenge, ARC-Easy, OpenBookQA, PIQA, WinoGrande, MMLU-Pro, MMLU, BBH, DROP, AGIEval, HumanEval, HumanEval+, MBPP, MBPP+, GSM8K, MATH-500, GPQA-Main, SuperGPQA다. 상식·독해·수학·코딩·전문지식이 섞여 있고, 공개 모델 발표문에서 흔히 보는 이름들이다.
1.3논문이 가른 두 낱말 — 벤치리킹과 벤치맥싱
논문의 정의 기여는 비슷해 보이는 두 현상을 갈라 놓은 데 있다. 축자는 이렇다. "We use the term benchleaking for the case in which a benchmark's own test examples enter training data, so that a score reflects recall rather than capability. This differs from benchmaxxing, which optimizes toward a benchmark without seeing its test set." 시험 문항 자체가 학습 데이터에 들어가 점수가 실력이 아니라 기억을 비추게 되는 쪽이 벤치리킹(benchleaking)이고, 시험 문항을 보지 않은 채 그 시험에 맞춰 최적화하는 쪽이 벤치맥싱(benchmaxxing)이다. 앞은 데이터의 이력 문제이고 뒤는 훈련 전략의 문제다. 본지가 4월에 다룬 벤치마크 조작과 리워드 해킹 보고서가 다룬 것은 뒤의 벤치맥싱이다.
이번에 가장 높은 값이 나온 ERNIE 5.5가 어떤 모델인지는 본지가 11월 8일 라이선스 조건을 다루며 적어 두었다. 공개 시험 문항이 학습 데이터에 섞여 들어가 점수를 부풀린다는 현상 자체도 6월에 한 편으로 정리한 적이 있다. 그래서 이 글은 두 이야기를 다시 설명하지 않고, 이번 논문이 더한 칸만 다룬다.
제목이 "in the past month"라고 적지만, 논문 안에 시계열 측정은 없다. 이전 세대 기반모델을 같은 방법으로 돌린 대조군도 없다. 한 달이라는 창을 받치는 것은 최근에 공개된 모델 넷과 인용된 감사 두 건뿐이다. 그러니 "오염이 한 달 사이에 급격히 나빠졌다"는 이 글의 단정이 아니라 논문 제목의 주장이고, 아래 수치는 가속의 증거가 아니라 지금 상태의 스냅숏으로 읽는 편이 안전하다.
멈추지 않게 두면 모델이 다음 문항을 스스로 써 낸다
탐지 방법이 이 논문의 성격을 정한다. 연구진은 통계적 겹침을 재지 않았고 n-gram 중복을 세지도 않았다. 대신 모델에게 말을 시켜 놓고 끊지 않았다. 방법 서술의 축자는 이렇다. "Several solved examples establish the task format, followed by a question for the model to answer. When generation continues beyond that answer, the model may produce additional questions and answers in the same format." 풀이가 붙은 예시 몇 개로 형식을 보여 주고 한 문제를 풀게 한 다음, 그 답 뒤로도 생성이 이어지면 모델이 같은 형식의 다른 문제와 답을 내놓을 수 있다는 것이다.
설정은 평범하다. 예시는 과제에 따라 세 개에서 여덟 개를 붙였고(코딩은 셋, GSM8K는 여덟, 나머지는 대개 다섯), 디코딩은 탐욕적 방식을 썼다. 다만 HumanEval 계열만 온도를 0.2로 두고 문제당 네 번씩 뽑았다. 중요한 설정은 둘이다. 생성을 멈추게 하는 정지 문자열을 꺼 두었고, 출력 예산을 1,024에서 4,096 토큰까지 넉넉히 주었다. 보통의 평가라면 답이 나온 순간 잘라 버릴 자리를 일부러 열어 둔 셈이다.
도식은 논문의 방법 서술과 부록의 판정 기준을 그린 것이다. 느슨한 문자열 겹침으로는 세지 않는다. 문제와 선택지와 정답이 한 덩어리로 함께 나왔을 때만 한 건으로 센다.
판정 기준은 생각보다 빡빡하다. 축자로는 "the generated text matches its complete question, all associated options or context, and its reference answer. These fields must occur together in the same generated item." 생성된 글이 문제 전문과 딸린 선택지 또는 맥락, 그리고 기준 정답까지 일치해야 하고, 그 항목들이 같은 생성 덩어리 안에 함께 있어야 한다는 것이다. 문장 몇 개가 비슷하게 겹쳤다고 한 건으로 세지 않는다.
2.1가장 엄격한 눈금으로만 센 수치다
부록에는 판정 눈금이 세 단계로 정의돼 있다. L1은 "requires the entire question field", 문제 항목 전체가 나와야 한다. L2는 "additionally requires its associated options, passage, or public examples", 거기에 선택지나 지문이 더 붙어야 한다. L3는 "additionally requires the reference answer or implementation", 기준 정답이나 구현까지 나와야 한다. 그리고 한 문장이 따라붙는다. "L1 is the most permissive and L3 the most demanding. The main text uses L3 throughout."
이 한 문장이 아래 모든 수치의 무게를 정한다. 본문의 누출률도, 보정 점수도 전부 가장 까다로운 눈금에서 나온 값이다. 느슨한 눈금으로 재서 크게 나온 수치가 아니라, 정답이나 구현까지 글자로 맞아떨어진 경우만 세고도 그만큼 나왔다는 뜻이다. 논문이 L1과 L2의 값을 부록에 따로 싣고 있으나, 본문의 축에서 비켜 있어 이 글도 다루지 않는다.
2.2두 회사의 모델이 같은 이웃 문항을 꺼낸다
논문의 한 그림은 이 장면을 그대로 보여 준다. HumanEval 문제 하나를 풀게 하자 ERNIE-5.5-Flash-Base가 답을 적은 뒤, 시험 문항을 번호 순서대로 이어 적는다. 더 눈에 띄는 것은 그다음이다. 샤오미의 MiMo-V2.5-Base도 HumanEval/66에 답한 뒤 HumanEval/67을 재현한다. 과일 개수를 세는 fruit_distribution 문항인데, ERNIE가 재현한 바로 그 문항이다. 서로 다른 회사가 서로 다른 데이터로 학습시킨 두 모델이, 같은 지점에서 같은 이웃 문항을 꺼낸다.
본지가 6월에 같은 주제를 다뤘을 때 쓸 수 있었던 근거는 추정이었다. 학습 코퍼스와 벤치마크의 통계적 겹침을 재거나, 같은 난이도로 새로 쓴 미러 문항으로 바꿔 점수가 떨어지는 폭을 보는 방식이었다. 둘 다 모델 바깥에서 간접으로 세는 잣대다. 이번 것은 결이 다르다. 모델이 자기 가중치 안에 있는 것을 스스로 글자로 내놓는다. 추정과 자백 사이의 거리만큼, 이 수치의 성격도 다르다.
열하루 전 본지가 다룬 신약 분자 탐색 시험 PMO의 사례와도 자리가 다르다. 그 글에서 샜던 것은 프롬프트에 적힌 과제 이름이 흘린 힌트였고, 그 이름을 지우자 성적의 상당 부분이 사라졌다. 이번에는 지울 프롬프트가 없다. 입력에 없던 문장이 나오는 것이라, 손댈 자리가 가중치 안쪽이다.
논문은 선행 탐지 방법도 세 갈래로 묶어 적는다. 시험 문항에서만 손실이 유난히 낮게 나오는지 보는 방식, 문제의 앞 절반을 주고 뒤를 잇게 해 보는 방식, 새로 쓴 복제본에서 정확도가 떨어지는지 보는 방식이다. 셋 다 쓸모 있는 신호지만 전부 간접이다. 이어쓰기 탐지가 그 계보를 벗어난 완전히 새로운 발명이라고 논문이 주장하지는 않는다. 다만 증거의 종류가 다르다.
여기서 못 박아 둘 것이 있다. 이 탐지는 한쪽으로만 선다. 논문이 부록에 직접 적는다. "Zero coverage means that no matching example was detected by our probe; it does not establish that the training data were contamination-free." 탐지가 0이라는 것은 이 탐침으로 일치하는 사례를 찾지 못했다는 뜻이고, 학습 데이터가 오염되지 않았음을 세우지는 못한다는 것이다. 외웠더라도 뱉지 않으면 안 잡힌다. 그래서 아래 표의 0.0% 칸을 "깨끗하다"로 읽으면 안 된다.
같은 시험인데 모델마다 샌 양이 다르다
논문의 중심 표는 시험 20종과 모델 네 개가 만나는 여든 칸이다. 칸마다 적힌 값은 그 시험의 문항 가운데 몇 퍼센트가 모델의 이어쓰기에서 나왔는지다. 이 표를 두 칸만 뽑아 옮기면 전혀 다른 이야기가 된다. 그래서 전수를 그대로 싣는다. 열 이름의 정식 표기는 차례로 DeepSeek-V4-Flash-Base, Hy3-preview-Base, MiMo-V2.5-Base, ERNIE-5.5-Flash-Base다.
| 벤치마크 | 딥시크 V4 | 텐센트 Hy3 | 샤오미 MiMo | 바이두 ERNIE 5.5 |
|---|---|---|---|---|
| TriviaQA | 0.3 | <0.1 | 0.3 | <0.1 |
| HellaSwag | 0.0 | 0.0 | 0.0 | 0.0 |
| ARC-Challenge | 0.0 | 0.0 | 0.0 | 2.7 |
| ARC-Easy | 0.0 | 0.0 | 0.0 | <0.1 |
| OpenBookQA | 0.0 | 0.0 | 0.0 | 85.4 |
| PIQA | 0.0 | 0.0 | 0.0 | 0.0 |
| WinoGrande | 12.7 | 12.6 | 13.8 | 14.4 |
| MMLU-Pro | 0.0 | 0.0 | 0.0 | 0.4 |
| MMLU | <0.1 | <0.1 | 0.5 | 6.9 |
| BBH | 3.9 | 0.9 | 0.7 | 2.0 |
| DROP | 3.3 | 2.1 | 3.0 | 1.9 |
| AGIEval (EN) | 1.9 | 1.6 | 0.9 | 3.8 |
| HumanEval | 9.1 | 6.7 | 73.8 | 96.3 |
| HumanEval+ | 2.4 | 2.4 | 7.9 | 6.1 |
| MBPP | 0.0 | 0.0 | 0.4 | 9.2 |
| MBPP+ | 0.3 | 0.0 | 0.3 | 7.4 |
| GSM8K | 0.8 | 5.1 | 4.4 | 80.1 |
| MATH-500 | 0.0 | 0.0 | 0.0 | 0.0 |
| GPQA-Main | 0.0 | 0.0 | 0.0 | 34.6 |
| SuperGPQA | 0.0 | 0.0 | 0.0 | <0.1 |
단위는 퍼센트이고, 가장 엄격한 L3 눈금으로 센 값이다. 주황색은 열 가운데 유난히 큰 칸, 회색은 0.0 또는 0.1 미만 칸이다.
표를 읽는 방법은 세 가지다. 첫째, ERNIE 5.5의 큰 칸들이다. HumanEval 96.3%, OpenBookQA 85.4%, GSM8K 80.1%, GPQA-Main 34.6%. 코딩과 상식과 초등 수학과 대학원 수준 과학 문제가 한꺼번에 걸렸다. 둘째, 그 극단값이 하나가 아니다. 샤오미의 MiMo는 같은 HumanEval에서 73.8%다. 넷 중 둘이 코딩 시험을 대량으로 외운 상태라는 뜻이다. 셋째, 어떤 시험은 네 모델 모두 한 건도 내놓지 않았다. HellaSwag와 PIQA와 MATH-500이 그렇다.
세 번째 줄이 특히 중요하다. 같은 네 모델이 어떤 시험에서는 전부 0.0이고 어떤 시험에서는 6.7과 96.3으로 열네 배 넘게 갈린다. 그러면 "벤치마크가 오염됐다"는 익숙한 문장은 이 표를 설명하지 못한다. 시험이 더러워진 것이라면 네 모델에 비슷하게 묻어나야 하는데 그렇지 않다. 오염은 시험 하나에 붙는 꼬리표가 아니라, 어떤 모델이 어떤 시험을 만났을 때의 칸마다 따로 매겨지는 값이다. 본지가 6월에 건 제목도 시험에 꼬리표를 붙인 모양이었는데, 이 표가 그 자리를 한 칸 옮긴다.
3.1WinoGrande의 공통 바닥은 탐지 방법이 만든 것이다
표에서 유일하게 네 모델이 나란히 두 자릿수인 줄이 WinoGrande다. 12.6에서 14.4 사이에 네 값이 모여 있다. 모양만 보면 네 모델이 공평하게 이 시험을 외운 것처럼 보이지만, 논문은 이 칸을 약한 증거로 분류한다. 부록의 해당 절 제목부터가 "When a match is weaker evidence"다.
이유는 이 시험의 설계에 있다. 축자는 "A match shows that a model produced a test example, which is usually hard to explain without exposure to it. WinoGrande is an exception, because its examples are related by construction…" 보통은 모델이 시험 문항을 써 냈다면 그것을 본 적 없이는 설명하기 어렵지만, WinoGrande는 예외라는 것이다. 이 시험의 문항은 낱말 하나만 바꾼 쌍둥이 문장 쌍으로 만들어져 있어서, 한쪽을 본 모델은 나머지 한쪽을 노출 없이도 지어낼 수 있다. 네 모델의 값이 비슷하게 낮은 자리에 모여 있는 것이 그 설명과 들어맞는다고 논문은 적는다.
그러니 이 줄은 오염의 바닥이 아니라 탐지 방법의 바닥이다. 2절 끝에 적은 것과 짝을 이루는 사실이기도 하다. 탐지는 양쪽으로 흔들리되 방향이 다르다. 0.0 칸은 결백을 뜻하지 않고, 공통으로 나오는 작은 값은 오염을 뜻하지 않는다. 어느 쪽이든 수치 하나를 그대로 결론으로 옮기면 틀린다.
3.2같은 이름의 시험에도 판본이 있다
표에서 가장 설명하기 어려운 자리는 HumanEval과 HumanEval+ 사이다. ERNIE 5.5는 원조 HumanEval에서 96.3%인데 시험 묶음을 늘린 변종 HumanEval+에서는 6.1%다. 열여섯 분의 일로 내려간다. MBPP와 MBPP+도 9.2%와 7.4%로 같은 방향이되 폭은 훨씬 작다. 논문은 이 격차를 설명하지 않는다. 부록에 HumanEval+와 MBPP+가 시험 묶음을 확장한 변종이라는 서술은 있지만, 누출률이 왜 이렇게 갈리는지에 대한 문장은 없다.
흔히 떠올릴 법한 설명 하나는 확인해 본 결과 성립하지 않는다. "원조 쪽은 문제와 정답이 한 파일에 같이 들어 있어서"라는 가설인데, 네 벤치마크의 배포 형태를 직접 열어 보면 전부 그렇다. HumanEval은 한 파일 안에 문제와 기준 구현과 시험 코드가 함께 있고, OpenBookQA와 GSM8K와 WinoGrande도 질문과 정답이 같은 레코드에 있다. HumanEval+ 역시 원본 호환 포맷에 정답이 동봉돼 있다. 정답 동봉 여부로는 96.3과 6.1의 차이를 가를 수 없다.
여기서 한 가지를 조심해야 한다. 판정 눈금 L3는 기준 정답이나 구현까지 글자 그대로 일치할 것을 요구하는데, HumanEval+는 시험 묶음을 늘린 변종이라 레코드의 모양이 원본과 다르다. 그러면 같은 문제를 외웠더라도 판정 규칙에서 탈락할 수 있다. 6.1%는 "외우지 않았다"가 아니라 "이 규칙으로는 잡히지 않았다"일 수 있다는 뜻이고, 이것은 논문이 아니라 이 글이 붙인 단서다. 실무로 옮기면 한 문장이 남는다. 같은 이름의 시험에도 판본이 있고, 어느 판본으로 쟀는지가 숫자를 가른다.
샌 문항을 모두 오답으로 치면 순위가 뒤집힌다
그런데 누출률만으로는 점수가 얼마나 부풀었는지 알 수 없다. 논문이 안티핵 점수(Anti-Hack score)를 만든 이유가 그것이다. 정의는 한 문장이다. "the benchmark score recomputed with every leaked example marked wrong and the number of examples unchanged." 샌 문항을 전부 오답으로 처리하고 문항 수는 그대로 둔 채 다시 계산한 점수라는 뜻이다. 분모를 건드리지 않는다는 점이 핵심이다. 샌 문항을 아예 빼고 남은 문항으로만 다시 평균을 내면 분모가 줄어 더 후한 값이 나오는데, 논문은 그 길을 택하지 않고 샌 문항을 오답으로 남겨 분모에 그대로 둔다.
시험 20종 평균을 그 방식으로 다시 매긴 결과가 아래다. 보정 전과 후의 막대를 나란히 놓으면 네 모델이 받는 손해의 크기가 한눈에 갈린다.
값은 논문 1번 그림의 네 칸이다. 보정 전 85.17로 가장 높던 모델이 보정 후 68.55로 가장 낮아진다. 다른 셋의 손해는 1.3점, 1.5점, 5.0점이다.
논문은 이 결과를 한 구절로 적는다. "ERNIE-5.5-Flash-Base from first to last among the four models." 네 모델 가운데 처음에서 끝으로 갔다는 뜻이다. 점수가 16.6점 내려갔다는 서술보다 이쪽이 더 많은 것을 말한다. 보정 전 점수표에서 이 모델을 고른 사람은 가장 높은 값을 보고 골랐을 텐데, 그 선택의 근거가 학습 데이터의 이력 한 줄에 뒤집힌다.
4.1평균 한 줄은 시험마다 다른 무너짐을 덮는다
평균 −16.6점은 그 자체로는 얌전한 수다. 시험별로 쪼갠 표를 열면 그 수가 무엇을 눌러 평평하게 만든 값인지 보인다. 논문이 세 시험에 대해 네 모델의 보정 전후를 함께 싣는다.
| 시험 | 딥시크 V4 | 텐센트 Hy3 | 샤오미 MiMo | 바이두 ERNIE 5.5 |
|---|---|---|---|---|
| HumanEval | 76.37 → 67.84 | 88.72 → 82.62 | 98.78 → 25.76 | 100.00 → 3.66 |
| OpenBookQA | 95.80 → 95.80 | 94.80 → 94.80 | 88.40 → 88.40 | 98.60 → 14.20 |
| GSM8K | 84.15 → 83.62 | 85.29 → 80.97 | 71.72 → 68.84 | 91.21 → 17.21 |
왼쪽이 원 점수, 오른쪽이 안티핵 점수다. 논문은 ERNIE 5.5에 대해서만 나머지 시험의 칸도 싣는다. GPQA-Main 59.15 → 32.81, MMLU 86.94 → 80.57, WinoGrande 87.21 → 74.59다. 다른 세 모델의 이 세 시험 칸은 공개된 표에 없어 비워 둔다.
세 줄을 차례로 읽는다. 첫째 줄에서 ERNIE 5.5는 HumanEval을 만점으로 풀었고, 샌 문항을 덜어내자 3.66이 남는다. 문항의 96.3%가 샜으니 남을 수 있는 최대치가 3.7 언저리라는 계산과 맞아떨어진다. 평균 −16.6점은 이런 칸들을 덜 흔들린 칸들과 섞어 평평하게 만든 값이다.
둘째로 샤오미의 MiMo도 같은 모양으로 무너진다. 98.78에서 25.76이다. 네 모델이 다 같이 무너진 것은 아니지만, 적어도 이 현상이 한 벤더에 국한되지 않는다는 것은 이 칸이 증명한다. 셋째 줄이 가장 조용하면서 가장 분명하다. OpenBookQA에서 딥시크와 텐센트와 샤오미의 점수는 95.80과 94.80과 88.40에서 소수점 한 자리도 움직이지 않는다. 그 시험의 누출률이 0.0이라 덜어낼 것이 없기 때문이다. 3절에서 표로 말한 것을 이 세 칸이 점수로 한 번 더 말한다.
3.66을 ERNIE 5.5의 코딩 실력으로 읽으면 안 된다. 안티핵 점수는 샌 문항을 하나도 남기지 않고 틀린 것으로 돌리므로, 그중에는 모델이 외우지 않았어도 풀 수 있었을 문항이 섞여 있다. 3.66은 실력 추정치가 아니라 하한이다. 반대쪽 끝의 원 점수 100.00도 실력을 뜻하지 않는다. 두 값 사이 어딘가에 실제 능력이 있고, 이 방법만으로는 그 자리를 집어낼 수 없다.
4.2벤더가 내건 점수는 많이 샌 시험이 아니다
여기서 한 가지를 바로잡아 둔다. 이 수치들을 보고 "바이두가 자랑한 코딩 점수는 외운 것"이라고 쓰면 틀린다. 바이두가 모델 카드에 내건 코딩 점수를 직접 열어 보면 HumanEval+ 1-shot 82.3이다. 비교 대상으로 DeepSeek-V4-Flash-Base 69.5, Hy3-preview-Base 78.0, MiMo-V2.5-Base 74.4를 나란히 적어 두었다. 그런데 ERNIE 5.5의 HumanEval+ 누출률은 6.1%다. 벤더가 고른 지표는 96.3%가 샌 쪽이 아니라 6.1%가 샌 쪽이다.
카드가 코딩 항목에 적은 값은 둘인데 둘 다 변종이다. 나머지 하나는 MBPP+ 0-shot 81.5다. MBPP 계열은 원조와 변종의 누출률이 9.2%와 7.4%로 가까워 어느 쪽을 적든 차이가 크지 않지만, HumanEval 계열은 96.3%와 6.1%로 갈린다. 같은 선택이 한쪽에서는 무해하고 다른 쪽에서는 점수표의 성격을 바꾼다.
이 반증은 본지가 먼저 적어 둔다. 공개된 영문 요약 가운데 바이두의 82.3 대 69.5 격차를 두고 오염 분석이 그 차이를 상당 부분 설명해 버린다는 식으로 읽은 것이 이미 돌고 있는데, 1차 자료를 맞춰 보면 그 독해는 서지 않는다. 숫자를 2차 요약에서 받으면 끌려가기 쉬운 자리다.
반증을 적고 나면 질문의 자리가 달라진다. 벤더가 어느 판본으로 재서 보고할지는 벤더가 정한다. 96.3%가 샌 시험의 만점은 점수표에 실리지 않고, 6.1%가 샌 변종의 82.3이 실린다. 두 선택 모두 거짓이 아니다. 문제는 거짓말이 아니라 선택권이고, 그 선택권이 점수표를 읽는 쪽에는 보이지 않는다는 데 있다.
같은 문제에 다른 답을 낸 사례가 올여름에 있었다. 8월에 본지가 다룬 SWE-bench Verified 퇴역 건에서 선택된 길은 시험을 거두는 것이었다. 정답이 새어 든 것을 확인하고도 고칠 방법이 마땅치 않자 시험 자체를 내린 것이다. 안티핵 점수는 다른 방향이다. 시험은 그대로 두고, 점수에서 외운 몫을 덜어 낸 값을 함께 내놓는다. 공급 쪽이 시험을 거두는 대신, 수요 쪽이 성적을 깎아서 읽는 길이다.
닷새 전 본지가 다룬 파킨슨병 진단 AI의 경우는 또 다른 자리에 있다. 같은 환자의 데이터가 학습 집합과 시험 집합에 함께 들어가 있던 경우라, 환자 단위로 다시 나누자 음성 정확도가 0.892에서 0.780으로 내려갔다. 고칠 수 있는 누수였다는 뜻이다. 이번 것은 학습이 끝난 가중치가 이미 품고 있어 다시 그을 선이 없다. 점수를 보정하는 길이 남는 이유가 거기에 있다.
점수표 옆에 무엇이 적혀 있어야 하나
논문이 마지막에 요구하는 것은 두 가지다. 초록의 축자는 "We call for decontamination reports and contamination-adjusted scores to become standard practice." 탈오염 보고서와 오염 보정 점수를 기본 관행으로 삼자는 것이다. 결론부에서는 표현이 조금 달라져 "We call for routine decontamination reporting and contamination-adjusted evaluation"으로 적는다. 요구가 둘인데 한쪽만 옮기면 이 논문의 제안이 절반이 된다.
둘 중 뒤의 것은 논문이 요구에 그치지 않고 만들어 보였다. 4절의 안티핵 점수가 곧 오염 보정 점수의 실물이다. 샌 문항을 세고, 오답으로 돌리고, 분모를 그대로 둔 채 다시 계산한다. 계산 절차가 공개돼 있으니 다른 사람이 같은 시험에 같은 잣대를 댈 수 있다. 앞의 것은 사정이 다르다. 탈오염 보고서는 서식도 없고 검증 절차도 없다.
5.1지금 모델 카드에는 그 칸이 없다
요구가 비어 있다는 말을 쓰기 전에 실제로 세어 보는 편이 낫다. 공개 가중치 모델 아홉 개의 카드를 직접 열어 세 축으로 나눠 확인했다. 학습 코퍼스의 출처를 밝히는가, 탈오염 절차를 적는가, 오염을 보정한 점수를 함께 내놓는가. 대상은 이 논문이 시험한 네 모델과, 코퍼스 공개로 알려진 OLMo 3을 비롯한 비교군 다섯이다. 모델 카드의 규격 문서 세 종도 같은 눈으로 봤다.
| 대상 | 학습 코퍼스 출처 | 탈오염 절차 | 오염 보정 점수 |
|---|---|---|---|
| 이 논문의 네 모델 ERNIE 5.5 · DeepSeek V4 · Hy3 · MiMo |
ERNIE만 범주 수준, 나머지 셋은 없음 | 0 / 4 | 0 / 4 |
| 비교군 다섯 OLMo 3 · Gemma 3 · Llama 4·3 · Qwen3 · Mistral |
OLMo만 코퍼스 이름까지 명시 | OLMo·Llama·Gemma·Qwen에 기술 있음 | 0 / 5 |
| 규격 문서 셋 HF 카드 템플릿 · Mitchell 외 원 서식 · EU AI Act 학습데이터 요약 |
서술형 공개 항목은 있음 | 전용 칸 없음 | 전용 칸 없음 |
2026년 11월 21일 모델 카드 원문과 규격 문서를 직접 열어 확인했다. Qwen3의 탈오염 기술은 형제 모델의 기술보고서에서 확인한 것이라, Qwen3 자체 문서의 서술로는 단정하지 않는다. Mistral은 학습 데이터셋을 공개하지 않는다고 공식 문서에 적혀 있다.
세 번째 열이 이 표의 결론이다. 아홉 모델 가운데 오염 보정 점수를 내놓는 곳은 한 곳도 없다. 코퍼스 이름까지 밝히고 전용 탈오염 도구를 쓰는 OLMo 3조차 보정 전과 후의 점수를 나란히 싣지는 않는다. 거기서는 중간학습과 학습 분할 양쪽에 그 도구를 걸었고, 오염이 남지 않았는지를 역으로 확인하는 대조 실험까지 동반 논문에 실었다. 그러고도 점수표에 적히는 값은 보정 전 하나다. 논문이 요구하는 두 번째 항목은, 지금까지 공개된 모델 중 어느 하나도 아직 하지 않는 일이다.
두 번째 열에도 단서가 붙는다. 탈오염 절차가 "있음"으로 분류된 모델들도 그 정보는 대개 모델 카드가 아니라 동반 기술보고서에 있다. Llama는 8-gram 기준의 탈오염 방법을 기술보고서에 상세히 적었고, Gemma는 과거 세대의 기술보고서에서 평가셋을 사전학습 혼합에서 걸러 냈다고 밝혔다. 알리바바는 형제 모델의 보고서가 더 구체적이다. 수학 모델은 13-gram, 코드 모델은 10-gram을 겹침 판정 기준으로 적었고, 걸러 낸 시험의 이름으로 HumanEval과 MBPP와 GSM8K와 MATH를 직접 밝혔다. 이번 논문에서 ERNIE 5.5의 누출률이 가장 높게 나온 HumanEval도, 80.1%가 나온 GSM8K도 이미 그 제외 목록에 이름으로 올라 있다는 뜻이다. 다만 이 정보들은 모델 카드를 열어서는 보이지 않고 논문까지 따라가야 보인다.
첫 번째 열도 한 번 짚어 둔다. 이 논문이 시험한 네 모델 가운데 학습 데이터를 범주 수준으로라도 적은 곳은 ERNIE 5.5 하나이고, 딥시크의 기반모델은 모델 카드 자체가 비어 있다. 그런데 HumanEval 누출률은 ERNIE 5.5가 96.3%이고 딥시크가 9.1%다. 네 칸으로 규칙을 세울 수는 없지만, 적어도 공개를 많이 한 쪽이 덜 샜다는 모양으로 읽히지는 않는다. 문서의 양과 데이터의 상태는 따로 확인할 일이다.
규격 문서도 마찬가지다. 허깅페이스의 카드 템플릿에도, 2019년에 나온 모델 카드 원 서식에도, EU AI Act가 요구하는 학습 데이터 요약 서식에도 오염을 적는 전용 칸이 없다. 원 서식이 설계될 때는 이 문제가 아직 없었다. 전용 칸이 없으면 오염 이야기는 평가 절이나 한계 절에 끼워 넣는 수밖에 없는데, 공개된 카드 3만여 장을 훑은 2024년 분석은 하필 그 두 절의 작성률이 가장 낮다고 보고한다. 앉을 칸이 없고, 칸이 될 만한 자리는 평소에도 가장 많이 비어 있다.
5.2선언은 이미 있다, 대조할 숫자가 없을 뿐이다
그런데 논문의 첫 번째 요구인 탈오염 보고서는, 한 줄짜리 형태로는 이미 존재한다. 그것도 이번에 가장 높은 값이 나온 바로 그 벤더의 집에 있다. 바이두가 2026년 2월에 낸 ERNIE 5.0 기술보고서는 학습 데이터 절에 이렇게 적는다. "decontamination safeguards keep benchmarks out of the training data", 탈오염 장치가 벤치마크를 학습 데이터 밖에 둔다는 것이다. 바로 다음에 "extensive deduplication prevents memorization artifacts", 광범위한 중복 제거가 암기의 부산물을 막는다는 문장도 붙는다.
귀속을 분명히 가른다. 그 문장이 실린 곳은 ERNIE 5.0 기술보고서이고, 이번에 잰 것은 ERNIE-5.5-Flash-Base다. 세대가 다르다. ERNIE 5.5의 학습 과정에 같은 장치가 걸려 있었는지는 공개된 문서로 확인할 수 없고, 그래서 "탈오염을 해 놓고 거짓말했다"는 문장은 성립하지 않는다. 여기서 확인되는 것은 다른 사실이다. 같은 벤더가 한 세대 전에 탈오염을 산문으로 선언한 적이 있고, 그 선언을 뒤에서 검산할 방법이 지금 없다.
이 대비가 논문의 두 요구 가운데 어느 쪽에 무게가 실리는지를 정한다. 탈오염 보고서는 선언이다. 했다고 적으면 그것으로 문서가 된다. 오염 보정 점수는 숫자다. 샌 문항의 목록과 보정 전후 값을 함께 내면 다른 사람이 같은 시험으로 맞춰 볼 수 있다. 산문으로 "했다"고 적는 것과, 샌 문항을 오답으로 친 점수를 함께 내는 것은 서로 다른 종류의 문서다. 그리고 지금 비어 있는 쪽은 뒤의 것이다.
본지가 7월에 평가 데이터 유출 사고를 다루며 세운 문장은 평가 데이터도 학습 데이터처럼 다뤄야 한다는 규범이었다. 이번 논문이 더하는 것은 그 규범에 붙일 서식이다. 어떻게 다뤘는지를 적은 문서 한 장과, 다룬 결과를 숫자로 보인 칸 하나. 9월에는 공개 점수를 우리 코드에서 다시 재 보라고 적었는데, 이번에 더해지는 칸은 그 앞자리다. 다시 재기 전에, 문서로 먼저 물을 수 있다.
끝으로 이 방법의 한계를 다시 못 박아 둔다. 논문의 문장대로 탐침에 걸리지 않았다는 것은 학습 데이터가 깨끗하다는 뜻이 아니고, 이 글도 어느 모델에 대해서도 깨끗하다고 적지 않는다. 0.0으로 나온 칸은 "이 방법으로는 잡히지 않았다"까지만 말한다. 같은 이유로, 논문 제목이 말하는 한 달 사이의 악화도 측정된 추세가 아니라 저자들의 주장이다. 이 글이 옮긴 수치는 지금 상태의 한 장면이다.
페블러스 관심의 이유
페블러스가 데이터를 볼 때 묻는 것은 양이 아니라 이력이다. 어디서 왔고 어디에 쓰였는가. 이 논문은 그 질문을 모델 평가로 옮겨 놓는다. 점수표의 숫자가 실력인지 기억인지를 가르는 것은 모델의 구조가 아니라 학습 코퍼스에 무엇이 들어갔는가 하나인데, 그것은 모델을 아무리 뜯어봐도 보이지 않고 데이터 이력 문서에만 적힌다.
6.1그 문서가 앉을 칸이 아직 없다
사흘 전 본지가 공지한 대로 페블러스 AI 시험평가센터는 KOLAS 공인시험기관으로 지정됐고, 그 인정 범위는 ISO/IEC 5259-2의 품질특성군과 ISO/IEC 25024의 측정항목군이다. 둘 다 데이터셋의 품질을 재는 잣대이고, 모델을 재는 일은 비공인 일반시험으로 다룬다. 그런데 논문이 요구하는 탈오염 보고서는 모델에 붙는 문서이면서 그 근거는 학습 데이터의 이력이다. 지금 체계에서 이 문서는 두 칸 사이에 끼어 어느 쪽에도 깔끔히 앉지 않는다.
비어 있다는 말을 추측으로 쓰지 않으려고 세 층을 따로 확인했다. 표준에서는 ISO/IEC 5259 계열과 25024에 평가셋 오염을 이름 붙여 다루는 조항이 없다. 다만 5259가 요구하는 데이터 출처 문서화는 새어 들어온 경로를 되짚을 근거는 된다. 조달 제도에서는 올해 8월 시행된 인공지능·데이터 기반 행정 관련 법률이 학습용 데이터 품질과 공공기관 AI 현황 공표, 영향평가를 조문으로 두었지만 학습 데이터와 평가셋의 중복을 요구하는 문장은 확인되지 않았다. 그중 영향평가 조문은 2027년 2월에야 시행된다.
조달 실무도 사정이 비슷하다. 제안요청서에 모델 카드나 모델 검증 보고서를 내라는 요구가 늘고 있다는 보도는 있는데, 그때 적히는 항목은 정확도와 강건성, 편향, 환각률이다. 목록에 데이터 유출이 들어가기도 하지만 그것은 사내 데이터가 바깥으로 새는 쪽이라, 시험 문항이 학습 데이터로 새어 드는 이번 이야기와는 방향이 반대다. 모델 카드 규격은 5절에서 본 대로다. 벤치리킹은 아직 세 층 어느 조문에도 이름이 없다.
6.2모델의 출력이 학습 데이터를 증언한다
3절의 표는 데이터 품질 지표가 모델 안에서 어떻게 보이는지를 드물게 직접 보여 준다. 보통은 데이터셋을 따로 재고 모델 성능을 따로 잰 뒤 둘을 이어 붙여 설명한다. 여기서는 모델의 출력이 학습 데이터의 내용을 직접 증언한다. 그것도 입력에 없던 문장을 통째로 내놓는 방식으로. 데이터 품질이 입력 단계에서만 관리하는 항목이 아니라 출력에서 검출되는 성질이기도 하다는 뜻이다.
다만 이 검출은 한쪽으로만 선다. 양성은 강한 증거이고 음성은 증거가 아니다. 품질 검사를 설계해 본 사람에게는 익숙한 비대칭이고, 검사 항목을 늘려도 사라지지 않는 종류의 한계다. 그래서 검출 결과를 합격 도장으로 쓰는 설계는 처음부터 피해야 한다.
6.3모델을 돌려 보지 않고도 물을 수 있는 질문이 셋이다
공개 가중치 모델을 사내에 들이는 쪽이 지금 보는 것은 모델 카드의 점수표다. 이 논문 뒤로는 같은 표를 놓고 세 가지를 더 물을 수 있다. 첫째, 이 점수를 낸 시험이 어느 판본인가. HumanEval인가 HumanEval+인가는 3절과 4절이 만들어 낸 질문이다. 둘째, 탈오염 절차를 적어 둔 문서가 있는가. 모델 카드에 없으면 동반 기술보고서에 있는지까지 본다. 셋째, 오염을 보정한 점수를 함께 내놓는가. 셋 다 모델을 돌려 보지 않고 문서만으로 물을 수 있는 질문이라, 도입 검토와 조달 단계에서 그대로 쓸 수 있다.
세 번째 질문에 "그렇다"고 답할 벤더가 아직 하나도 없다는 것은 5절에서 세어 본 그대로다. 그러니 이 질문은 당장 벤더를 가르는 잣대가 되지 못한다. 다만 묻는 쪽이 늘면 비어 있는 칸이 어디인지는 분명해진다. 페블러스가 지금 이 사안에서 확인한 것은 거기까지다.
사실과 해석을 가른다. 1절부터 4절까지의 수치와 축자 인용은 arXiv:2611.21315 원문에서 직접 가져왔고, 5절의 모델 카드 세 축 집계와 벤치마크 배포 형태는 각 카드와 저장소를 직접 열어 확인한 것이다. 바이두의 탈오염 선언은 ERNIE 5.0 기술보고서(arXiv:2602.04705)의 문장이다. HumanEval+의 6.1%가 판정 규칙의 산물일 수 있다는 단서, 두 요구 가운데 보정 점수 쪽에 무게가 실린다는 판단, 그리고 6절 전체는 페블러스가 붙인 해석이다. 확인하지 못한 것도 적어 둔다. 논문이 적은 프로젝트 저장소 주소는 열람 시점에 열리지 않았고, ERNIE 5.5 세대에 탈오염 장치가 적용됐는지를 밝힌 문서는 찾지 못했다. 이 논문에 대한 국내외 보도 반응은 표본 두 건만 보았으므로, 이 글은 어떤 차별성 주장도 하지 않는다.
참고문헌
본문 수치의 출처를 성격별로 나눠 적는다. 1번과 2번이 이 글이 딛는 1차 문서이고, 누출률 표와 안티핵 점수와 축자 인용이 전부 1번에서 나왔다. 3번과 4번은 논문이 사후학습 단계의 증거로 끌어온 회색문헌이다. 5번부터 10번까지가 3절과 5절 집계의 근거이고, 마지막 묶음은 페블러스 선행 글이다.
1차 — 논문과 기술보고서
- 1.Yiwei Qin, Muhang Xie, Xuefeng Li, Mohan Jiang, Dayuan Fu, Tiantian Mi, Qipeng Guo, Pengfei Liu, "Benchleaking Is Accelerating: Benchmark contamination has worsened sharply in the past month — from post-training down to pre-training base models" (Xinxu AI·GAIR, 24쪽, 2026년 11월 16일 제출, 동료 심사 없음). arXiv:2611.21315 — 20종 × 4모델 누출률 표, 안티핵 점수 네 칸과 시험별 분해, L1·L2·L3 판정 눈금, 평가 설정, 부록의 두 축자가 모두 여기서 나왔다.
- 2.ERNIE Team(바이두), "ERNIE 5.0 Technical Report" (2026년 2월 4일). arXiv:2602.04705 — 5.2절의 탈오염 선언 축자 두 문장의 출처다. 측정 대상인 ERNIE-5.5-Flash-Base와는 세대가 다르다.
논문이 인용한 회색문헌
- 3.Schaeffer, Räuker, "Kimi k3.1 pro recalls and enforces hidden test rules" (R40 Research 기술보고서, 2026년 11월 3일). 서지 항목에 "Not peer reviewed"가 적혀 있다 — 1절의 23.3%가 이쪽 계열이다.
- 4.Lo, Lo, "MaxxBench: benchmarking task adaptation and generalization in frontier LLMs" (Unlap 연구 글, 2026년 10월 20일).
모델 카드·규격·표준
- 5.허깅페이스 모델 카드 baidu/ERNIE-5.5-Flash-Base · deepseek-ai/DeepSeek-V4-Flash-Base · tencent/Hy3-preview-Base · XiaomiMiMo/MiMo-V2.5-Base (2026년 11월 21일 직접 열람) — 4.2절의 HumanEval+ 1-shot 82.3과 비교 수치, 제조사 귀속, 5절 세 축 집계의 앞 네 줄이 여기서 나왔다.
- 6.비교군 다섯의 카드와 동반 기술보고서 — AI2 OLMo 3(arXiv:2512.13961), 메타 Llama 3(arXiv:2407.21783), 구글 Gemma(arXiv:2403.08295), 알리바바 Qwen3(arXiv:2505.09388), 미스트랄 공식 고객지원 문서. 5절 두 번째 줄의 근거다. 알리바바의 n-gram 기준과 제외 시험 명단은 형제 모델 기술보고서 Qwen2.5-Math(arXiv:2409.12122)와 Qwen2.5-Coder(arXiv:2409.12186)에서 확인했다.
- 7.Margaret Mitchell 외, "Model Cards for Model Reporting" (arXiv:1810.03993)와 허깅페이스 공식 모델 카드 템플릿 — 두 서식 모두 오염 전용 칸이 없다. 공개 카드 3만 2천여 장의 섹션별 작성 실태 분석은 arXiv:2402.05160에서 가져왔다.
- 8.EU AI Act 제53조 1항 (d)호 범용 AI 학습데이터 요약 템플릿 (2025년 7월 24일 공표) — 서술형 공개 의무는 있으나 평가셋 오염 전용 필드는 없다. 법률해설 경유로 교차 확인했다.
- 9.ISO/IEC 5259-1~4:2024, ISO/IEC 25024:2015 — 6.1절에서 확인한 데이터 품질 표준 두 계열이다. 평가셋 오염을 이름 붙인 조항은 없다.
- 10.벤치마크 원전과 배포 저장소 — HumanEval(arXiv:2107.03374)과 evalplus의 HumanEval+, OpenBookQA(2018), GSM8K(2021), WinoGrande(2019). 3.2절의 정답 동봉 확인이 이 저장소들에서 나왔다.
페블러스 선행 글
- 11.그 시험지는 이미 학습 데이터에 있었다 (2026년 6월 20일) — 통계적 겹침과 미러 문항으로 오염을 추정하던 방식을 다뤘다. 2.2절에서 이번 방법과 대비했다.
- 12.SWE-bench Verified 퇴역 (2026년 8월 5일) — 4.2절에서 시험을 거두는 길과 점수를 보정하는 길을 견준 자리다.
- 13.신약 분자 찾기 시험 PMO의 과제 이름 누출 (2026년 11월 10일) — 2.2절의 대비 사례다. 그쪽은 프롬프트에 있던 힌트였다.
- 14.바이두 ERNIE 5.5의 라이선스 조건 (2026년 11월 8일) — 이 모델의 제원과 공개 조건은 그 글이 다뤘다.
- 15.평가 데이터도 학습 데이터처럼 다뤄야 한다 (2026년 7월 27일) · AI 벤치마크 8개, 조작에 속수무책 (2026년 4월 12일) · 우리 회사 코드에서도 AI가 그 점수를 낼까 (2026년 9월 15일) · 페블러스 AI 시험평가센터 KOLAS 공인 (2026년 11월 18일) · 파킨슨병 진단 AI, 배운 환자가 시험에 나오면 점수가 오른다 (2026년 11월 16일) — 4.2절에서 고칠 수 있는 누수와 견준 자리다.