Executive Summary

AI 글 탐지기의 성적표에 유효기간이 있다는 연구가 나왔다. 도쿄도립대학교의 나카지마 가즈키와 국립정보학연구소의 미즈노 다카유키는 챗GPT가 세상에 나오기 전에 실린 논문 초록 4,000편을 가져다, 2023년 6월부터 2026년 8월까지 공개된 LLM 23개 판본에 각각 다시 쓰게 했다. 그러고는 앞선 판본까지만 보고 학습한 탐지기가 뒤에 나온 판본의 글을 얼마나 잡아내는지 따라갔다.

사람이 쓴 글을 AI로 잘못 찍는 비율을 1%에 맞춰 두었을 때, 세대 경계 바로 앞 판본에서 99%를 넘던 탐지율이 경계를 넘은 첫 판본에서는 3.8%로 내려앉았다. 늘 이렇게 무너지지는 않는다. 대부분의 판본에서는 지난 판본만 보고 배운 탐지기도 제 몫을 했다. 다만 그 예외가 하필 가장 새로 나온 모델에서 터진다는 점이 심사하는 쪽에는 곤란하다. 연구진은 모델이 더 똑똑해져서가 아니라 쓰는 낱말의 분포가 갈렸기 때문이라고 설명한다.

1절부터 4절까지 적은 사실과 수치는 arXiv에 올라온 논문 원문과, 함께 인용한 영상 탐지 벤치마크 논문 두 편에서 가져왔다. 메타의 오픈웨이트 모델 공개 시점과 규모는 당시 보도로 따로 확인했다. 이 결과를 품질 지표의 유효기간 문제로 묶은 5절은 이 글의 해석이다.

주요 수치

첫 숫자는 탐지기가 가장 깊이 내려앉은 자리다. 가운데 둘은 23개 판본을 한꺼번에 덮으려 할 때 치르는 값이고, 마지막은 돈을 받고 파는 탐지기에서 나온 결과다.

출처: Nakajima & Mizuno (2026), arXiv:2610.11599

3.8%

세대 경계를 넘은 첫 판본의 탐지율

바로 앞 판본에서는 같은 탐지기가 99%를 넘겼다

11.9%

탐지기를 모두 켜 둘 때의 사람 글 오탐률

사람이 쓴 초록 여덟 편 가운데 한 편이 AI로 찍힌다

33.8%

하나로 합쳐 학습했을 때의 최신 판본 누락률

사람 글 오탐은 0.8%로 낮지만 셋 중 하나를 놓친다

79.8%

상용 탐지기가 최신 판본 글을 놓친 비율

사람 글 오탐은 5,000편 중 1편으로 거의 없었다

1

챗GPT 이전에 쓰인 초록이 사람 글의 기준점이다

학술지와 학회는 투고 원고가 LLM으로 쓰였는지를 걸러 내기 시작했다. 그 선별이 믿을 만한지는 벤치마크 점수로 확인하는데, 벤치마크는 정해진 판본 묶음을 상대로 한 번 재어 둔 숫자다. 정작 세상에서 쓰이는 판본은 계속 바뀐다. 논문이 겨눈 자리가 바로 이 틈이다.

실험 재료는 미국국립과학원회보(PNAS)에 2009년부터 2018년까지 실린 영어 논문 초록 4,000편이다. 챗GPT가 나오기 전에 쓰인 글이니 사람이 썼다는 사실을 따로 증명할 필요가 없다. 연구진은 이 초록을 LLM 23개 판본에 하나씩 넘겨 다시 쓰게 했다. 판본은 오픈AI 14개, 메타 4개, 알리바바 5개이고, 공개 시점은 2023년 6월부터 2026년 8월까지 걸쳐 있다. 앤트로픽의 클로드는 이용 약관을 고려해 뺐고, 같은 세대 안에서 갈라지는 경량·고급 등급(mini·nano·pro)과 이름이 계속 옮겨 다니는 별칭도 제외했다.

다시 쓰는 절차도 23개 판본에 똑같이 걸었다. 먼저 원래 초록을 요점 목록으로 줄이게 하고, 그 목록을 다시 초록 한 문단으로 늘리게 하는 두 단계다. 원문의 문장을 손보는 쪽보다는, 내용만 남기고 표현은 모델에 맡기는 쪽에 가깝다. 생성 온도는 1.0으로 두어 모델이 평소 쓰는 말투가 그대로 나오게 했다.

탐지기는 판본마다 따로 만들었다. 사람이 쓴 초록과 그 초록을 해당 판본이 다시 쓴 글을 짝으로 묶어 RoBERTa-base(1억 2,500만 개 변수)를 미세조정했고, 같은 논문이 학습과 평가에 동시에 들어가지 않도록 논문 단위로 8 대 2로 갈랐다. 판정 문턱은 모두 같은 방식으로 맞췄다. 사람이 쓴 초록 100편 가운데 1편을 AI로 잘못 찍는 지점이다. 심사 현장에서 오탐이 곧 억울한 사람을 만드는 일이라는 점을 생각하면, 꽤 깐깐하게 잡은 기준이다.

이렇게 해 두면 질문 하나가 분명해진다. 어제까지 나온 판본만 보고 배운 탐지기는, 오늘 공개된 판본이 쓴 글을 알아볼 수 있는가. 이것이 실제 심사 현장의 조건이다. 학술지가 쓰는 탐지기는 언제나 과거의 글로 학습돼 있고, 투고되는 원고는 늘 가장 새 모델에서 나온다.

2

탐지기가 배운 것은 그 판본의 말버릇이다

평소 성적은 나쁘지 않다. 앞선 판본으로 학습할 거리가 있는 20개 판본 가운데 18개에서 탐지율은 85% 위에 머물렀다. 판본이 하나 바뀐다고 탐지기가 곧바로 눈을 감지는 않는다는 뜻이다. 무너지는 자리는 두 군데뿐이었고, 둘 다 모델이 세대를 갈아탄 길목이었다.

첫 번째는 GPT-5 세대의 첫 판본이다. 여기서 탐지율이 26.6%로 떨어졌다. 두 번째가 훨씬 깊다. 메타의 뮤즈 계열 가운데 처음 공개된 오픈웨이트 모델인 뮤즈 글리머(Muse Glimmer)에서 3.8%가 됐다. 뮤즈 글리머는 메타가 2026년 8월 10일 아파치 2.0 라이선스로 내놓은 300억 변수 규모의 모델로, 라마 4 이후 처음 공개한 오픈웨이트 모델이다. 아래 도식은 세 지점을 나란히 둔 것이다.

앞선 판본까지만 보고 배운 탐지기의 탐지율 85% — 20개 판본 중 18개는 이 선 위에 머문다 99%+ 경계 바로 앞 판본 26.6% GPT-5 세대 첫 판본 3.8% 뮤즈 글리머 사람이 쓴 초록 100편 중 1편을 AI로 찍는 지점에 문턱을 맞춘 조건에서 잰 값이다.

▲ 페블러스 원본 도식. 수치는 Nakajima & Mizuno(2026)가 제시한 값을 옮긴 것이다.

왜 하필 세대 경계인가. 연구진이 든 설명은 어휘다. 판본마다 즐겨 쓰는 낱말의 분포가 있는데, 두 판본 사이의 분포 차이가 클수록 앞 판본으로 배운 탐지기가 뒤 판본을 잡아내지 못했다. 분포 차이를 옌센-섀넌 발산으로 재고 탐지율과 견주니 순위 상관계수가 −0.85였다(p<0.001). 공개 시점, 업체, 다시 쓴 글의 길이를 통제하고도 이 관계는 남았다. 연구진은 여기에 단서를 달았다. 함께 움직인다는 사실이 한쪽이 다른 쪽의 원인이라는 증명은 아니라는 것이다.

방향을 거꾸로 돌려도 같은 일이 벌어진다. 오픈AI의 가장 나중 판본 세 개로 학습한 탐지기는 실험에서 가장 이른 판본인 GPT-4가 다시 쓴 글을 많아야 0.2% 잡아냈다. 뒤 판본으로 배운 탐지기가 앞 판본의 글을 놓치는 정도는 그 반대 경우와 비슷했다는 것이 연구진의 정리다. 새 모델일수록 잡기 어렵다는 뜻으로 읽으면 어긋난다. 학습한 판본에서 멀어지면 어느 쪽으로 멀어지든 못 알아본다.

결과를 뒤집어 읽으면 이렇다. 탐지기는 'AI가 쓴 글의 일반적인 특징'을 배운 적이 없다. 학습에 쓰인 그 판본들이 즐겨 쓰는 낱말을 외웠을 뿐이다. 말버릇이 바뀌면 같은 탐지기가 같은 일을 못 한다. 성능이 나빠진 것이 아니라, 재던 대상이 다른 것으로 바뀐 것에 가깝다.

3

전부 덮으려는 방법에는 저마다 대가가 있다

한 판본에 맞춘 탐지기가 다음 세대에서 무너진다면, 23개 판본을 모두 덮는 선별기를 만들면 될 일이다. 연구진은 두 가지 방식을 실제로 만들어 각각 어떤 값을 치르는지 확인했다. 하나는 판본별 탐지기를 전부 켜 두고 하나라도 걸리면 AI로 판정하는 방식이고, 다른 하나는 23개 판본의 글을 한데 모아 탐지기 하나를 학습시키는 방식이다.

두 방식 모두 작동은 한다. 문제는 어느 쪽 대가를 고를 것이냐다.

선별 방식 사람 글을 AI로 찍는 비율 뮤즈 글리머가 쓴 글을 놓치는 비율
판본별 탐지기를 모두 켜 둔다 11.9% ± 1.2% 1.4% (평균 98.6%를 잡아낸다)
23개 판본을 합쳐 탐지기 하나로 학습한다 0.8% ± 0.3% 33.8% ± 3.4%
상용 탐지기 Pangram(3.3.2판)을 쓴다 0.02% (5,000편 중 1편) 79.8% (400편 중 319편)

▲ 23개 판본을 모두 덮으려는 세 방법의 성적. 출처: Nakajima & Mizuno (2026)

첫 줄은 놓치지 않는 쪽을 고른 결과다. 뮤즈 글리머가 다시 쓴 글도 평균 98.6%를 잡아낸다. 대신 사람이 쓴 초록 여덟 편 가운데 한 편꼴로 AI 딱지가 붙는다. 학술지가 이 설정으로 투고 원고를 거르면, 자기 손으로 쓴 저자 여럿이 해명을 요구받는 자리에 서게 된다.

둘째 줄은 반대쪽을 고른 결과다. 억울한 저자는 거의 생기지 않지만, 가장 새로 나온 모델로 다시 쓴 글의 3분의 1이 그냥 통과한다. 어느 쪽을 골라도 한쪽 손해를 떠안아야 하고, 중간을 택할 방법이 이 실험 안에는 없었다.

돈을 받고 파는 제품이라면 사정이 다를까 싶어 연구진은 상용 탐지기도 같은 시험대에 올렸다. Pangram 3.3.2판은 사람이 쓴 초록 5,000편 가운데 단 1편만 AI로 찍었다. 오탐만 보면 흠잡을 데가 없다. 그런데 다시 쓴 글을 놓치는 비율은 판본에 따라 크게 갈렸다. GPT-5 글은 400편 중 26편(6.5%)만 놓쳤지만, 뮤즈 글리머 글은 400편 중 319편을 놓쳤다. 같은 제품, 같은 설정인데 어느 모델이 썼느냐에 따라 결과가 열 배 넘게 벌어졌다.

원고가 어느 분야에서 왔는지도 결과를 바꾼다. 같은 제품이 놓친 비율을 원래 초록의 분야로 나눠 보면, 보건의료에서 45.2%였고 사회과학에서 26.5%였다. 생명과학과 자연과학은 그 사이에 들어간다. 23개 판본의 글을 전부 합쳐 센 값이니 특정 판본 하나의 탓으로 돌리기도 어렵다. 탐지기 성적을 한 줄로 적어 둘 때는 어느 판본을 상대로 쟀는지뿐 아니라 어느 분야 글로 쟀는지도 함께 적혀 있어야 한다.

4

같은 일이 영상 쪽에서도 벌어진다

글만 그런 것이 아니다. 딥페이크 영상 탐지에서도 같은 모양의 보고가 쌓여 있다. 2025년에 공개된 Deepfake-Eval-2024는 학술 데이터셋 대신 2024년에 실제로 소셜미디어와 탐지 서비스에 돌아다닌 가짜를 모아 만든 평가 묶음이다. 공개된 최신 탐지 모델들을 여기에 걸자 이전 벤치마크 대비 AUC가 영상에서 50%, 음성에서 48%, 이미지에서 45% 떨어졌다.

2026년 9월에 나온 DF26은 한 발 더 간다. 최근의 텍스트-영상·이미지-영상 모델 일곱 개로 만든 합성 영상 2,420편과 진짜 영상 271편을 모아 사람과 탐지기에 동시에 물었더니, 양쪽 모두 찍어서 맞히는 수준에 가까웠다는 것이 저자들의 결론이다. 생성 쪽이 분포를 옮길 때마다 탐지 쪽 평가 체계가 뒤처진다는 지적도 같이 붙었다.

세 연구가 다루는 대상은 논문 초록, 소셜미디어 영상, 공개 발언 영상으로 저마다 다르다. 겹치는 것은 숫자가 만들어진 방식이다. 어느 시점의 데이터로 학습하고 보정해 '정확도 몇 퍼센트'를 적어 둔 분류기는, 그 뒤에 생성 쪽이 분포를 바꾸면 같은 숫자를 유지하지 못한다. 글 탐지기는 그 가운데 가장 눈에 띄는 사례일 뿐이다.

4.1이 연구가 덮지 못한 자리

연구진도 한계를 스스로 적어 두었다. 결과는 한 학술지, 한 언어, 한 가지 글 종류에서 나왔다. 2009년부터 2018년까지 PNAS에 실린 영어 초록이다. 초록은 분량이 짧고 형식이 정해져 있어 일반적인 논문 본문이나 다른 언어의 글에 그대로 옮겨 말할 수 없다. 앤트로픽의 클로드가 빠져 있고 경량 등급도 들어가지 않았으니, 23개 판본이 지금 쓰이는 모델 전부를 대표하지도 않는다. 어휘 분포 차이와 탐지 실패가 함께 움직인다는 것도 관계의 관찰이지 원인의 증명은 아니다.

재현한 상황도 한 가지다. 실험은 초록 전체를 넘겨 통째로 다시 쓰게 하는 쓰임을 가정했다. 실제 집필에서 LLM은 문법만 고치는 데 쓰이기도 하고 글 전체를 갈아엎는 데 쓰이기도 하며, 저자와 여러 차례 주고받으며 문장을 다듬는 경우도 많다. 탐지기 쪽 표본도 좁다. 연구진이 직접 학습시킨 것은 RoBERTa-base 한 계열이고, 상용 제품은 작동점을 고정한 한 제품을 걸어 봤다. 사람이 직접 읽고 판정해 본 대조군은 다시 쓴 글 80편뿐이다.

그래도 남는 사실 하나는 단단하다. 같은 탐지기가 같은 문턱에서 판본 하나 차이로 99%와 3.8% 사이를 오갔다. 어떤 한계를 붙이더라도 '정확도 99%'를 탐지기의 고정된 성질로 읽을 수는 없게 됐다.

5

페블러스가 이 연구에 주목하는 이유

이 소식은 보통 연구윤리 뉴스로 읽힌다. 데이터를 다루는 쪽에서 보면 다른 대목이 남는다. 논문이 흔든 것은 탐지기의 성능이 아니라 성능을 적어 둔 숫자의 지위다. 정확도 99%는 탐지기가 가진 성질이 아니라 특정 시점, 특정 판본 묶음을 상대로 잰 측정값이었다. 재는 대상이 바뀌면 같은 잣대로 얻은 숫자라도 더는 같은 뜻이 아니다.

이 성질은 AI 글 탐지기에만 붙어 있지 않다. 스팸 분류기, 콘텐츠 선별 필터, 데이터 품질 게이트, 사내 모델 평가표는 모두 어느 시점의 데이터로 학습하고 보정해 숫자를 받아 둔 장치다. 받아 둔 다음부터 세상은 계속 움직이는데, 그 숫자에는 보통 발급일만 적혀 있고 만료일은 적혀 있지 않다. 작년에 받은 성적표를 올해도 같은 뜻으로 읽고 있다면, 그 사이에 분포가 그대로였다는 가정을 아무도 확인하지 않은 채로 쓰고 있는 셈이다.

이 블로그는 탐지기 오탐이 기술의 문제가 아니라 사람마다 글쓰기가 다르다는 사실에서 나온다는 연구를 다룬 적이 있다. 그쪽은 같은 시점에 사람들을 가로로 갈랐을 때 생기는 한계였고, 이번 논문은 같은 대상을 시간 축으로 세로로 따라갔을 때 생기는 한계다. 두 축이 맞물리면 탐지기 하나로 판정을 끝내기는 더 어려워진다.

분류기나 품질 지표를 운영하는 쪽에서 이 논문을 읽는다면, 확인할 것은 셋으로 좁혀진다.

  • 그 정확도는 언제, 어떤 데이터로 잰 값인가. 측정 시점이 기록돼 있지 않은 지표는 유효기간을 따질 수조차 없다.
  • 재측정을 누가, 어떤 신호를 받아 시작하는가. 이 논문의 경우 방아쇠는 새 모델의 공개다. 사내 분류기라면 입력 데이터의 분포가 바뀐 시점이 그 자리에 온다.
  • 다시 잴 때 과거 판본까지 함께 거는가. 연구진은 결론에서 새 판본이 나올 때마다 과거 판본을 포함해 다시 검증하라고 적었다. 새것만 확인하면 옛 글을 놓치기 시작한 사실이 보이지 않는다.

페블러스가 데이터를 AI가 쓸 수 있는 상태로 만들 때 품질 검증을 한 번 끝내는 행사가 아니라 주기를 가진 작업으로 두는 것도 같은 이유에서다. 한 번 받은 점수는 받던 날의 데이터에만 책임을 진다. 그 뒤로 데이터가 어떻게 달라졌는지는 점수가 말해 주지 않는다.

논문은 마지막을 이렇게 닫는다. "학계가 물어야 할 것은 탐지기가 얼마나 정확한가만이 아니라, 그 정확도를 어느 LLM 판본에 대고 마지막으로 확인했는가다."(원문: "The question for the scientific community is therefore not only how accurate its detectors are, but against which LLM versions that accuracy was last verified.") 탐지기 자리에 자기 회사가 운영하는 분류기 이름을 넣어도 문장은 그대로 성립한다.

R

참고문헌