Executive Summary
"챗봇은 자기가 쓰는 학술 인용 대부분을 지어낸다"는 보고에 만료 판정이 내려졌다. 스탠퍼드 연구진이 널리 인용된 LLM 연구 결과 쉰 개를 다시 측정한 결과이고, 그중 스물두 개가 만료로 분류됐다. 다만 인용 지어내기는 빨리 죽은 축이 아니다. 만료까지 서른한 달이 걸렸고, 추정 만료 시점은 올해 4월 말이다.
그동안 기록에는 가짜 참고문헌이 쌓였다. 그 양을 센 감사가 올해 셋 나왔는데 수가 다 다르고, 셋 다 맞다. 세는 단위가 각각 날조로 확정한 건수와 추정 편수와 기준선 초과 추정 건수이기 때문이다. 셋을 "적게는 수천, 많게는 십수만" 같은 범위로 뭉개면 그 순간 이 이야기는 틀린다.
그리고 그 재고는 거의 줄지 않는다. 존재하지 않는 인용은 대부분 저장소 관문을 지나 그대로 올라가고, 프리프린트에 있던 것은 대개 출판본까지 따라가며, 날조가 확인된 논문은 거의 전부 아무 조치도 받지 않았다. 가짜 참고문헌은 지워지기는커녕 학술 검색에 항목으로 남아 다시 인용된다. 모델을 고치는 일과 기록을 고치는 일은 같은 속도로 일어나지 않는다.
98.4%
출판사 조치가 없던 비율
날조 참고문헌이 확인된 논문 2,810편 가운데, 감사 시점까지 정정도 철회도 받지 않은 몫이다
85.3%
출판본까지 살아남은 환각 인용
문제의 참고문헌을 담은 bioRxiv 프리프린트 2,241편을 출판본까지 따라갔을 때 그대로 남은 몫이다
31.7개월
인용 지어내기가 버틴 시간
만료로 분류된 스물두 개의 중앙값은 14.7개월이다. 이 버릇은 그 두 배를 넘게 살았다
10.2 → 21.3%
같은 모델의 날조율 두 값
전체 응답을 분모로 하면 앞의 값, 절반 넘는 거절을 빼고 답한 것만 세면 뒤의 값이다
하필 인용 지어내기가 가장 늦게 꺼진 축에 든다
인용 지어내기에도 만료일이 찍혀 있다. 그 날짜를 적은 문서는 지난 11월 2일 스탠퍼드의 Owen Queen과 James Zou가 "The shelf life of LLM findings"라는 제목으로 공개한 분석이고, 학술지 논문이 아니라 연구실 블로그 글이다. 동료심사를 거치지 않았다. 네이처는 그로부터 열이레 뒤인 11월 19일에 이 분석을 보도했고, 기사 본문에 "the analysis was described in a blogpost and has not been peer reviewed"라고 적어 두었다. 그러니 이 수치들은 네이처의 연구 결과가 아니다. 이 구분이 5절에서 다시 중요해진다.
설계는 단순하다. 널리 인용된 LLM 연구 결과 쉰 개를 골라, 공개일이 2024년 7월부터 2026년 9월에 걸친 모델 스무 개에 같은 실험을 다시 돌렸다. 각 보고에 대해 원 논문이 보고한 효과를 1로 놓고, 지금 모델에서 측정된 값이 그 1에서 얼마나 내려왔는지를 비율로 적는다. 이 비율이 0.2 아래로 내려간 상태가 올해 9월까지 유지되면 만료로 분류한다. 원래 효과의 5분의 1 밑으로 꺼진 채 돌아오지 않으면 끝난 것으로 본다는 뜻이다.
결과는 쉰 개 중 만료 스물두 개, 약해진 것 열일곱 개, 그대로인 것 여덟 개, 오히려 세진 것 셋이다. 세진 셋은 심판 노릇을 맡은 모델이 자기 출력을 더 높이 치는 경향, 사용자가 밝힌 취향에 맞춰 칭찬하는 경향, 그리고 "무작위로 하나 고르라"고 할 때 특정 수로 쏠리는 경향이었다. 고쳐진 쪽과 더 굳어진 쪽이 한 표 안에 같이 있다.
1.1"평균 16개월"은 쉰 개의 수명이 아니다
이 분석에서 가장 많이 옮겨진 숫자가 만료까지 걸린 기간이다. 평균 15.7개월, 중앙값 14.7개월. 그런데 이 값은 만료가 확인된 스물두 개에서만 계산한 것이고, 아직 살아 있는 스물여덟 개는 분모에 들어가 있지 않다. 저자들은 이 점을 직접 적었다. 축자로 "it is not an expected lifespan for all findings", 모든 결과의 기대 수명이 아니라는 것이다.
분모를 바꾸면 값도 바뀐다. 아직 만료되지 않은 것까지 포함해 생존분석으로 다시 계산하면 중앙 수명은 36.6개월로 올라간다. 발표 1년 뒤 만료된 비율은 16%, 2년 뒤는 39%로 추정된다. 같은 자료에서 "수명"이라는 한 낱말이 두 배 넘게 갈린다. 어느 쪽도 틀리지 않았고, 세는 대상이 다를 뿐이다. 이 글이 아래에서 계속 하게 될 이야기가 첫 절부터 자기 재료에서 나온다.
아래 막대는 만료로 분류된 스물두 개를 수명 순으로 늘어놓은 것이다. 맨 아래 칸의 36.6은 그중 가장 오래 버틴 항목의 값이고, 방금 적은 생존분석의 중앙 수명 36.6개월과는 다른 통계량이다. 숫자가 같아서 옮겨 적는 동안 가장 잘 붙어 버리는 쌍이기도 하다. 인용 지어내기가 그 안에서 어디쯤 서 있는지도 여기서 먼저 보인다.
막대는 원자료 lifespan.csv의 건별 값이다. 맨 아래 줄의 36.6은 만료된 항목 중 가장 긴 수명이고, 생존분석의 중앙 수명 36.6은 쉰 개 전체를 분모로 한 다른 값이다. 숫자가 같다고 같은 것을 세고 있지는 않다.
1.22023년의 '55%'가 꺼지는 데 31.7개월이 걸렸다
건별 표를 열어 보면 만료된 스물두 개의 수명이 1.4개월부터 36.6개월까지 펼쳐져 있다. 가장 빨리 꺼진 것은 추론 모델이 쉬운 수학 문제를 과하게 곱씹는다는 보고다. 1.4개월 만에 만료됐고, 효과의 부호가 음수로 뒤집혔다. 원 논문이 보고한 방향의 반대로 모델이 움직이기 시작했다는 뜻이다.
반대쪽 끝 가까이에 인용 지어내기가 있다. 31.7개월로 스물두 개 중 두 번째로 길다. 중앙값의 두 배를 넘게 살았다. 원 보고는 2023년 9월 7일 Scientific Reports에 실린 Walters와 Wilder의 논문이고, GPT-3.5가 만들어 낸 서지 인용의 55%가 날조, GPT-4는 18%였다. 널리 돌아다니는 "55%"의 출처가 이 표다.
꺼지는 과정도 느렸다. 재현 시점에 같은 세대 모델에서 58.6%가 나와 원 보고가 재현됐고, 발표 6개월 뒤에도 원래 효과의 1.02배가 남아 있었다. 12개월 뒤 0.827, 24개월 뒤 0.441로 내려갔고, 올해 9월 측정에서 0.031이 됐다. 추정 만료 시점은 2026년 4월 29일이다. 이 날짜가 이 글의 나머지를 읽는 기준점이 된다.
이 분석에는 저자들이 먼저 적어 둔 한계가 있다. 고른 쉰 개는 문헌의 무작위 표본이 아니고, 패널에 올린 스무 개 모델도 비용과 크기를 고려해 추린 것이다. 그러니 "LLM 연구 결과의 44%가 만료된다"처럼 전체 문헌으로 넓혀 읽을 수 없다. 이 글은 인용 지어내기 한 건의 궤적과 그 만료 날짜 하나만 쓴다.
아흐레 전 본지가 다룬 AI 글 탐지기 이야기는 측정 도구가 낡는다는 쪽을 읽었다. 새 세대 모델이 나오면 탐지기가 배운 말버릇이 더 이상 맞지 않는다는 것이고, 측정의 문제다. 이 글의 무대는 그 반대편이다. 측정이 끝나고 이미 찍혀 나간 산출물이 어떻게 되는가. 모델이 고쳐졌다는 사실은 이 글에서 출발점으로 쓰인다.
다른 방법으로 측정하면 2026년 모델도 셋에 하나는 날조다
1절의 만료 판정만 읽으면 이 이야기는 여기서 끝난다. 그런데 같은 해에 같은 버릇을 다른 방법으로 측정한 연구가 따로 있고, 결과가 사뭇 다르다. 더 묘한 것은 그 연구를 이끈 사람이 3절에 나올 대규모 감사의 제1저자라는 점이다.
9월 14일 arXiv에 올라온 프리프린트 "Biomedical Reference Generation Remains Unreliable across 26 Large Language Models"이고, 제1저자는 Maxim Topaz다. 개발사 여덟 곳의 모델 스물여섯 개에게 생의학 지문 예순아홉 개를 주고, 각 지문에서 빠진 참고문헌 한 건을 채우게 했다. 분야는 열 갈래이고, 모델 추론은 올해 4월과 7월에 돌렸다. 모은 응답은 24,518건이다. 이 글도 동료심사를 거치지 않았다.
응답은 네 갈래로 판정했다. 실제로 존재하는 문헌을 가져온 것, 일부 서지 항목만 맞은 것, 존재하지 않는 문헌을 만든 것, 그리고 답하기를 거절한 것. 전체 결과는 날조 55.4%(13,580건), 검증 가능 30.9%(7,581건), 부분 일치 12.0%(2,948건), 거절 1.7%(409건)였다. 2026년에 처음 공개된 모델 다섯 개만 따로 보아도 날조는 35.3%(95% 신뢰구간 29.2~41.8)다. 서지 항목이 전부 맞은 응답은 그 다섯 개에서 31.8%에 그쳤다.
2.1모순처럼 보이는 두 수치는 과제가 서로 다르다
두 수치를 나란히 놓으면 한쪽이 틀린 것처럼 보인다. 그러나 두 연구가 모델에게 시킨 일이 다르다. 1절의 분석은 2023년 논문의 프롬프트를 그대로 재현했다. 약 2,000자짜리 문헌고찰을 쓰고 참고문헌을 다섯 개 이상 달라는 과제다. 글을 쓰다가 인용을 지어내는 버릇이 남았는지를 보는 것이다. 2절의 측정은 반대로 묻는다. 특정 주장에 딱 맞는 실재 문헌 한 건을 집어 오라는 것이고, 모델이 검색도 대조도 없이 서지를 생성해야 하는 자리다.
| Queen·Zou 분석 (11월 2일) | Topaz 연구진의 26개 모델 측정 (9월 14일) | |
|---|---|---|
| 시킨 일 | 문헌고찰을 쓰고 참고문헌을 달아라 | 지문에 빠진 참고문헌 한 건을 채워라 |
| 재는 것 | 2023년 보고의 효과가 지금도 남아 있는가 | 지금 모델의 날조율 자체 |
| 분모 | 원 논문이 보고한 효과의 크기 | 모델이 내놓은 응답 24,518건 |
| 판정 | 만료 (원 효과의 0.031배) | 2026년 모델도 날조 35.3% |
| 문서의 성격 | 연구실 블로그, 심사 전 | arXiv 프리프린트, 심사 전 |
같은 낱말을 쓰면서 서로 다른 것을 측정하는 두 잣대다. 어느 쪽도 "모델이 이제 안 만든다" 또는 "하나도 나아지지 않았다"를 뒷받침하지 않는다.
과제가 쉬운 쪽에서는 꺼졌고, 어려운 쪽에서는 아직 남아 있다. 그래서 "최신 모델은 가짜 참고문헌을 만들지 않는다"는 문장도, "전혀 나아지지 않았다"는 문장도 똑같이 근거가 없다. 어느 과제로 물었는지를 빼고 비율만 옮기면 두 연구 모두 잘못 인용된다.
2.2같은 모델의 날조율이 10.2%이기도 하고 21.3%이기도 하다
이 측정에서 모델별 값은 10.2%부터 98.4%까지 벌어졌다. 그런데 가장 낮은 10.2%를 받은 모델은 받은 프롬프트의 52.1%를 거절했다. 모르겠다고 답한 경우를 전부 분모에 넣은 값이 10.2%이고, 실제로 서지를 내놓은 응답만 세면 21.3%가 된다. 거절을 성공으로 세느냐 마느냐가 두 배 차이를 만든다. 거절이 3% 미만인 모델 가운데 가장 낮은 값은 13.0%였다.
여기서 숫자 하나가 겹친다. 이 문단의 98.4%는 모델 하나가 낸 날조율이다. 글 첫머리의 스탯카드와 4절에 나올 98.4%는 날조가 확인된 논문 2,810편 가운데 출판사 조치를 받지 않은 몫이고, 두 값 사이에 아무 관계가 없다. 같은 수가 두 번 나오는 것은 우연이지만, 비율만 떼어 옮기면 어떻게 되는지를 보여 주는 실례이기도 하다.
저자들은 이 사정을 결론 문장에 적었다. 축자로 "no single rate characterizes language models as a class; any aggregate reflects the models it pools." 어떤 하나의 비율도 언어 모델이라는 부류를 특징짓지 못하고, 어떤 집계값이든 거기에 어떤 모델을 모았는지를 비출 뿐이라는 것이다. 이 문장은 모델 순위표를 만들지 말라는 요구이기도 하다.
저자들이 적은 한계도 같은 방향이다. 이 연구는 테스트한 집합을 기술할 뿐 "실제로 쓰이는 모델 전체"를 대표하지 않고, 모델마다 표본 깊이가 달라 모델 간 비교는 기술적인 수준에 머물며, 디코딩 설정이 통일되지 않았고, 학습 데이터의 최신성과 모델의 능력이 서로 얽혀 있다. 그러니 35.3%도 "2026년 모델의 실력"이 아니라 "이 설계에서 이 다섯 모델이 낸 값"이다.
두 근거 모두 동료심사를 거치지 않았다. 하나는 블로그이고 하나는 프리프린트다. 다만 두 문서의 성격을 "믿을 수 없다"로 접으면 다른 쪽이 보이지 않는다. 1절의 분석은 코드와 원자료와 건별 수치를 전부 공개했고, 이 글의 1절 수치도 그 원자료에서 직접 받아 온 것이다. 심사를 기다렸다면 그 사이에 모델이 또 바뀌어 결과 자체가 낡았을 것이다. 빠른 비공식 근거와 느린 공식 기록 사이의 긴장이 이 주제에 붙어 다닌다.
인용이 망가지는 방식은 하나가 아니다. 9월에 본지가 다룬 학술 인용 재작성 실험에서는 실재하는 논문의 태도가 바뀌었다. 반박으로 쓴 자리의 절반이 반박으로 남지 않았다. 이쪽은 없는 논문이 생기는 경우다.
가짜 참고문헌을 센 감사가 셋인데 수가 다 다르다
툴루즈대의 전산학자 기욤 카바낙은 어느 날 자기 이름이 저자로 올라간 치의학 논문의 인용을 발견했다. 그는 그런 논문을 쓴 적이 없고, 붙어 있던 DOI는 아무 데로도 닿지 않았다. 존재하지 않는 논문이 존재하는 사람의 이름을 달고 다른 논문의 참고문헌 목록에 앉아 있었던 것이다. 이런 항목이 지금 학술 기록에 몇 건이나 있는지를 올해 세 팀이 각각 셌다. 그리고 셋이 전혀 다른 수를 내놓았다.
널리 옮겨지는 수치는 4,046건과 11만 편 이상과 146,932건이다. 셋을 "적게는 4천, 많게는 14만"으로 묶으면 틀린다. 앞의 것은 네 데이터베이스와 대조해 날조로 확정한 참고문헌 건수, 가운데는 표본에서 얻은 비율을 한 해 출판물 전체에 대입한 추정 편수, 끝은 LLM 이전 기준선을 넘은 몫으로 계산한 추정 초과 건수다. 단위가 건수와 편수로 갈리고, 하나는 확정치이고 둘은 추정치다.
| Lancet 감사 | 네이처 × Grounded AI | Zhao 연구진 | |
|---|---|---|---|
| 모집단 | PMC 공개접근 서브셋 | 출판사 다섯 곳의 학술지 논문·단행본 장·학회 논문집 | arXiv · bioRxiv · SSRN · PMC 10% 표본 |
| 기간 | 2023년 1월 1일 ~ 2026년 2월 18일 | 2025년 출판물 | 2025년(월간 추정치 외삽) |
| 규모 | 논문 2,471,758편 · 구조화 참고문헌 125,615,773건 | 논문 4,000편 이상 | 논문 250만 편 · 참고문헌 1억 1,100만 건 |
| 센 단위 | 날조로 확정한 참고문헌 건수 | 무효 참고문헌을 하나 이상 품은 것으로 추정한 논문 편수 | 기준선을 넘은 대조 실패 초과 건수 |
| 판정 방법 | PubMed·Crossref·OpenAlex·Google Scholar 네 곳에 모두 없으면 날조 | 위험 점수 상위 100편을 사람이 직접 검토 | 개별 판정을 하지 않고 LLM 이전 기준선 대비 초과분을 집단 신호로 본다 |
| 결과 | 4,046건 (논문 2,810편) | 11만 편 이상 (추정) | 146,932건 (추정) |
| 스스로 적은 한계 | 정밀도는 쟀지만 재현율은 재지 않았다 | 표본 비율을 한 해 전체에 대입한 외삽값이다 | 보수적 추정이며 하한일 가능성이 크다 |
셋은 서로 다른 질문의 답이고, 경쟁하는 추정으로 읽으면 어긋난다. 특히 Lancet 감사의 "250만"과 Zhao 연구진의 "250만"은 전혀 다른 모집단이고, 같은 문단에 나란히 놓으면 거의 반드시 섞인다.
3.1가장 엄격하게 센 쪽은 네 곳을 다 뒤졌다
세 감사 중 판정이 가장 보수적인 것은 Lancet에 실린 감사다. 5월 9일 자 Lancet 407권 10541호 1779~1781쪽에 실린 Topaz 연구진의 보고이고, PMC 공개접근 서브셋에서 2023년 1월부터 올해 2월 중순까지의 논문 2,471,758편을 훑었다. 참고문헌 1억 2,561만 건 가운데 PMID를 달아 실제로 대조한 것은 9,710만 건, 전체의 77%다. 나머지 23%는 웹 문서나 단행본, 회색문헌이라 색인 대조가 되지 않는다.
대조는 네 곳에 걸었다. PubMed, Crossref, OpenAlex, 그리고 Google Scholar. 네 곳 어디에도 없을 때만 날조로 확정했다. 그렇게 걸러진 것이 4,046건이고, 그것을 담은 논문이 2,810편이다. 가려진 500건을 독립 평가자 세 명이 다시 본 검증에서 정밀도는 91%(Fleiss κ=0.71)였다. 다만 저자들은 설계의 한쪽 면을 직접 적었다. 축자로 "this design estimates precision but not recall", 이 설계는 정밀도를 추정할 뿐 재현율은 추정하지 않는다는 것이다. 잡은 것이 진짜일 확률은 쟀고, 놓친 것이 얼마나 되는지는 재지 않았다.
날조 참고문헌이 발견된 2,810편 가운데 91%에 해당하는 2,564편은 한두 건만 품고 있었고, 세 건 이상인 논문은 246편이다. 대부분은 고의로 목록을 지어낸 논문이 아니라 한두 줄을 확인하지 않고 넘긴 논문으로 보인다. 한편 논문 유형별로는 리뷰 논문의 날조율이 다른 유형보다 57% 높았다(1만 편당 16.7건 대 10.6건, p<0.0001). 다른 글의 재료로 쓰이는 글에서 더 높다는 점이 4절의 이야기와 맞물린다.
3.2"65"는 표본의 65%가 아니다
네이처가 Grounded AI와 함께 돌린 감사는 숫자를 읽는 순서가 특히 중요하다. 출판사 다섯 곳의 2025년 출판물 4,000편 이상을 대상으로 위험 점수를 매긴 뒤, 상위 100편을 사람이 직접 검토했다. 그중 65편에서 무효 참고문헌이 최소 한 건 확인됐다. 이것을 "표본의 65%에 가짜 인용이 있었다"로 옮기면 완전히 틀린다. 100편은 위험 점수가 가장 높은 쪽만 뽑은 것이고, 4,000편 기준으로 환산하면 1.625%다. 이 비율을 2025년 학술 출판물 약 700만 편에 대입해 나온 외삽값이 11만 편 이상이다.
Grounded AI의 공동창업자 조 쇼크먼은 이런 항목을 "프랑켄슈타인 인용"이라 불렀다. 실재하는 저자와 실재하는 학술지와 실재하지 않는 논문이 한 줄 안에서 꿰매어진 모양을 가리킨 말이다. 카바낙이 발견한 자기 이름이 정확히 그 꼴이었다.
3.3개별 판정을 아예 하지 않은 쪽도 있다
Zhao 연구진의 설계는 앞의 둘과 결이 다르다. 코넬·UCLA·칭화·UC버클리의 공동 연구이고, 공저자에 arXiv를 만든 폴 긴스파그가 들어 있다. 이들은 개별 참고문헌을 날조로 판정하지 않는다. 대신 LLM 이전 시기의 대조 실패율을 기준선으로 잡고, 그 기준선을 넘은 초과분만 집단 수준의 신호로 읽는다. 찾는 대상도 좁혀 두었다. 제목이 존재하지 않는 항목만 본다. 어떤 논문도 어떤 저자도 지목하지 않는다.
그래서 146,932건은 "발견된 가짜 인용"이 아니라 "기준선을 넘은 초과분의 추정치"다. 2025년 8월 한 달의 추정치를 저장소별로 적은 뒤 연말까지 외삽한 값이고, 저자들은 본문에서 이를 보수적 추정이자 하한일 가능성이 크다고 적었다. 변곡점은 2024년 중반이다. ChatGPT 공개로부터 약 18개월 뒤이고, 공교롭게도 Lancet 감사가 다른 코퍼스에서 찾은 변곡점과 같은 시점이다.
분포는 "소수의 썩은 사과" 그림과 맞지 않았다. 참고문헌의 절반 이상이 대조에 실패하는 극단적 논문은 거의 늘지 않았고(arXiv 기준 0.102%p), 대신 0~10% 구간의 논문이 크게 늘었다(arXiv 기준 3.615%p). 널리, 얕게 번졌다는 뜻이다. 학술지 등급으로도 깔끔히 갈리지 않았다. 최하위와 최상위 10분위가 각각 뚜렷이 높고 낮지만 그 사이에 일관된 기울기가 없어서, 중간 등급 학술지 대부분이 비슷하게 취약했다.
세 감사 모두 검증 단계에서 LLM을 썼다. Lancet 쪽은 참고문헌 파싱과 정규화에, Zhao 연구진은 색인 대조에서 미일치로 남은 항목을 정제하는 데 썼다. 사람이 손으로 1억 건을 대조할 수는 없으니 당연한 선택이고, 그래서 두 감사 모두 사람 검토 표본으로 정밀도를 따로 확인했다. 이 사실은 결과를 깎지 않지만, 이 주제의 측정 도구 자체가 측정 대상과 같은 기술 위에 서 있다는 점은 기록해 둘 만하다.
5월의 AI 심사 이야기는 투고된 원고를 누가 심사했는가의 문제였다. 이 글은 심사가 끝난 뒤 출판된 본문을 본다.
흐름은 잠겨 가는데 재고는 그대로 남는다
지금까지의 수치는 전부 "얼마나 있는가"를 센 것이다. 이 절의 세 숫자는 다른 것을 묻는다. 일단 들어온 것이 어디까지 가는가. 세 숫자는 생성에서 영구 기록까지 이어지는 길의 서로 다른 길목에서 나왔고, 하나씩 떼어 보면 각각 평범해 보이지만 이어 놓으면 이 글의 척추가 된다.
①·②·④는 Zhao 연구진, ③은 Lancet 감사의 부록에서 나온 값이다. 같은 길에 놓이지만 같은 집단을 따라간 것이 아니다.
4.1첫 관문은 거의 막지 못한다
Zhao 연구진은 arXiv에서 반려된 원고 30,981편을 따로 분석했다. 반려본의 환각 인용 비율은 2.2%로 승인본의 약 4.5배였다. 모더레이션이 아무 일도 하지 않는 것은 아니라는 뜻이다. 그런데 같은 분석에서 존재하지 않는 인용의 78.8%는 그 관문을 통과해 플랫폼에 올라갔다. 걸러지는 쪽이 분명히 있는데도 대부분은 지나간다. 이 값은 arXiv 모더레이션 기준이고, 저장소 일반의 성적이 아니다.
저장소별 비율을 보면 심사 장치의 유무가 드러난다. 2025년 8월 기준으로 SSRN이 1.91%, arXiv가 0.39%, PMC가 0.27%, bioRxiv가 0.21%였다. SSRN이 arXiv의 약 4.9배인데, 이곳은 투고본을 심사하지 않는 사회과학 저장소다. 관문이 약한 곳에서 수치가 먼저 올라간다.
4.2두 번째 관문도 대체로 그대로 통과시킨다
같은 연구진이 다음 길목을 따로 추적했다. 대조에 실패한 참고문헌을 담은 bioRxiv 프리프린트 2,241편을 골라 PMC의 출판본까지 따라간 것이다. 프리프린트 단계에 있던 환각 인용 가운데 85.3%가 출판 기록에 그대로 남았다. 심사와 편집 과정을 거치고도 여섯 건 중 다섯 건 넘게 살아남는다는 뜻이다. 이 값은 추적한 2,241편에서 나온 것이고, 모든 프리프린트의 성적이 아니다.
왜 안 걸리는지는 짐작하기 어렵지 않다. 심사자는 논증과 방법을 본다. 참고문헌 목록 스물일곱 번째 줄의 권호와 쪽수가 실재하는지를 한 줄씩 대조하는 것은 심사자의 일로 여겨진 적이 없고, 그렇게 하려면 네 개의 색인을 띄워 놓고 몇 시간을 써야 한다. 사람이 안 하던 일을 기계가 대신 틀리기 시작한 자리다.
4.3찾아낸 뒤에 조치를 받은 논문은 백에 한둘이다
세 번째 숫자가 가장 무겁다. Lancet 감사가 날조를 확인한 논문 2,810편 가운데 감사 시점까지 98.4%가 출판사의 아무 조치도 받지 않았다. 정정도 철회도 편집자 공지도 없었다. 앞의 두 관문은 적어도 일부는 걸러 냈는데, 이 단계에서는 이미 확인된 것조차 거의 그대로 남는다.
여기서 눈금이 바뀐다. 모델 쪽 오류는 비율로 보고된다. 날조율 몇 퍼센트, 전년 대비 몇 퍼센트포인트 하락. 기록 쪽 오류는 건수로 쌓인다. 4,046건, 2,810편. 비율이 내려가는 동안에도 건수는 늘 수 있다. 쓰는 사람이 늘면 그렇게 된다. 그리고 비율은 다음 분기에 다시 측정되지만, 건수는 누가 지우지 않는 한 그대로 남는다.
4.4가짜 서지가 학술 검색 엔진에 레코드로 등록된다
Zhao 연구진이 Google Scholar와 대조하면서 확인한 것이 이 절에서 가장 불편한 대목이다. 어떤 실재 논문과도 연결되지 않으면서 이미 다른 논문들에 인용돼 있는 항목이 늘고 있었다. 한 번 참고문헌 목록에 앉은 가짜 서지는 학술 검색 엔진에 하나의 레코드로 등록되고, 그 레코드를 본 다음 사람이 다시 인용한다. 논문의 표현으로 그것들은 "part of the permanent record", 영구 기록의 일부가 된다.
저자들은 증폭 경로를 두 갈래로 적었다. 하나는 방금 말한 인용 전파다. 다른 하나는 더 직접적이다. LLM은 이들이 조사한 바로 그 공개접근 코퍼스로 학습되는 일이 많아서, 내일의 모델이 오늘의 환각을 배우게 된다는 것이다. 그래서 논문은 이 현상이 탐지 장치 자체를 갉아먹기 시작할 수 있다고("may begin to erode the mechanisms we have to detect them") 적는다.
들어오는 쪽은 어떻게든 좁혀지고 있는데, 이미 들어온 것을 내보내는 문은 사실상 없다. 발행일 기준으로 1절의 만료 추정일에서 일곱 달이 지났지만, 2,810편 가운데 조치를 받은 논문은 여전히 1.6%다. 모델을 고치는 일과 기록을 고치는 일은 애초에 다른 사람의 일이고, 뒤쪽을 맡은 사람은 아직 정해지지 않았다.
가장 널리 퍼진 수치부터 분모를 잃은 채 돌아다닌다
이 이야기에서 가장 널리 퍼진 문장은 "논문 277편당 1편에 가짜 참고문헌이 있다"이다. 그리고 그 문장에는 이미 정정이 붙어 있다. 네이처가 5월 8일에 낸 기사에 닷새 뒤 붙인 정정문의 축자는 이렇다. "The study screened papers in the PubMed Central (PMC) Open Access database, not the whole PubMed database." 그 연구가 훑은 것은 PubMed 전체가 아니라 PMC 공개접근 데이터베이스라는 것이다.
차이가 작지 않다. PubMed는 3,700만 건 규모의 색인이고, PMC 공개접근 서브셋은 전문이 공개된 논문만 모은 훨씬 좁은 집합이다. 분야 구성도 투고 관행도 같지 않다. "277편당 1편"은 후자에서 나온 값이지 생의학 문헌 전체의 값이 아니다. 어느 집합을 센 것인지를 빼고 비율만 옮기는 순간, 그 비율은 다른 사실을 주장하게 된다.
정정 이전의 꼴은 실제로 유통됐다. 미국 도서관계 매체 infoDOCKET이 5월 7일에 단 표제는 "One in 277 PubMed-Indexed Papers In 2026 Shows Fabricated References"였다. 다만 이런 꼴이 얼마나 퍼졌는지는 이 글이 세지 않았다. 매체 단위로 집계하지 않았으므로 "대부분의 매체가" 같은 말은 쓰지 않는다. 확인한 것은 정정이 붙었다는 사실과 실례 한 건이다.
5.1"12배"는 어느 계열의 배수인가
같은 감사에서 나온 수치가 두 계열로 갈려 돌아다니는데, 이 둘을 섞으면 배수가 안 맞는다. 하나는 편수 계열이다. 날조 참고문헌을 한 건 이상 품은 논문의 비율로, 2023년 2,828편당 1편에서 2025년 458편당 1편, 2026년 첫 일곱 주 277편당 1편으로 올라갔다. 1만 편당 36.1편이고, 2023년 대비 10.2배다. 다른 하나는 건수 계열이다. 1만 편당 날조 참고문헌 건수로, 2023년 내내 4건 안팎이던 것이 2025년 4분기 51.3건, 2026년 초 56.9건이 됐다.
널리 옮겨지는 "12배 이상"은 뒤쪽 계열의 배수다. 원문의 서술은 "increased more than 12 times"이고, 대상은 1만 편당 참고문헌 건수다. 두 계열은 단위가 다르다. 논문 한 편이 평균 1.44건을 품고 있으니(4,046 ÷ 2,810) 36.1 × 1.44는 52 언저리가 되어 56.9와 어울린다. 반대로 "277편당 1편이 12배로 늘었다"고 쓰면 두 계열을 한 문장에 섞은 것이고, 그 문장은 어느 쪽 사실도 아니다.
| 계열 | 세는 단위 | 2023년 | 2026년 초 | 배수 |
|---|---|---|---|---|
| 편수 계열 | 날조를 한 건 이상 품은 논문 비율 | 2,828편당 1편 | 277편당 1편 | 10.2배 |
| 건수 계열 | 1만 편당 날조 참고문헌 건수 | 약 4건 | 56.9건 | 원문 표현 "12배 이상" |
두 줄의 분모가 다르다. 모집단은 둘 다 PMC 공개접근 서브셋이고, 2026년 값은 1월 1일부터 2월 18일까지 일곱 주치다.
5.2반론도 같은 무게로 적어 둔다
그 배수에는 공개된 반론이 붙어 있다. 같은 저널에 실린 Mousa와 Mahmoud-Katheer의 서신은 재현율이 검증되지 않았다는 점을 들어 증가 배수 자체를 반박했다. 서신이고 정정이 아니라는 점은 갈라 두어야 하지만, 근거의 핵심은 감사 저자들이 먼저 적어 둔 바로 그 한계다. 정밀도는 쟀고 재현율은 재지 않았다면, 해마다 잡아내는 몫이 달라졌을 가능성이 배수에 섞여 들어간다. 반론의 재료가 원문 안에 이미 있었던 셈이다.
보도에 인용된 비판도 있다. 노스웨스턴의 모하마드 호세이니는 이 감사를 두고 "simplistic"이라고 평했다. 그는 앞서 논문의 과학적 결론에 영향을 주는 환각 인용과 그렇지 않은 것을 갈라야 한다고 주장해 왔다. 참고문헌 목록 한 줄이 틀린 것과 핵심 주장의 근거가 통째로 없는 것은 같은 사건이 아니라는 지적이다. 감사가 센 4,046건 안에서 그 둘의 비중이 얼마인지는 아직 아무도 세지 않았다.
정정이 붙은 쪽과 안 붙은 쪽은 다르다. 확인된 정정은 네이처가 자기 기사에 붙인 것 하나다. 학술지 쪽에서 교정판이 나왔다는 기록은 찾지 못했고, 확인된 것은 같은 저널에 실린 사후 서신들과 저자 답변뿐이다. 서신은 정정이 아니다. 그리고 네이처의 정정은 4절의 그림에 반례가 되기도 한다. 기록은 고쳐질 수 있다. 다만 고쳐지는 것은 대개 기사이고, 논문은 아니다.
본지에도 정리할 자리가 있었다. 9월의 AI 연구윤리 글과 연구 작업대 글이 이 Lancet 감사를 요약 경유로 인용했고, 앞의 글은 원 서신 본문을 직접 대조하지 못했다고 스스로 적어 두었다. 뒤의 글은 제1저자의 이름을 Marc로 적었다. 바른 이름은 Maxim Topaz다. 이번 글은 원문을 직접 받아 수치와 축자를 대조했고, 위 두 줄이 그 결과다.
막는 장치는 늘었지만 전부 들어오는 문에 서 있다
감사를 한 사람들은 무엇을 하자고 했을까. Lancet 감사의 마지막 문단에는 권고가 네 개 적혀 있다. 첫째, 투고 단계에서 참고문헌을 자동으로 검증할 것. 둘째, 색인에 무결성 메타데이터를 붙일 것. 셋째, 이미 출판된 논문을 소급 점검하고 필요하면 정정하거나 철회할 것. 넷째, '날조 참고문헌'을 연구무결성 데이터베이스의 독립 범주로 세울 것.
셋째 항목이 이 글의 4절과 정확히 겹친다. 기간행 논문을 다시 열어 보라는 요구는 감사를 수행한 연구진이 자기 권고문에 직접 적어 둔 것이다. 나머지 셋도 모두 제도 쪽을 향한다. 알고리즘을 더 좋게 만들자는 말은 네 개 중 하나도 없다.
그런데 실제로 늘어난 장치는 첫째 항목 쪽이다. 투고 전 원고의 참고문헌을 대조하는 도구가 여러 곳에서 도입되고 있다는 보도가 이어졌다. 다만 각 출판사의 발표문을 이번 조사에서 1차 문서로 확인하지 못했으므로, 이 글은 도입 규모나 반려 비율 같은 수치를 옮기지 않는다. 확인한 것은 방향 하나다. 새로 들어오는 원고를 보는 장치는 늘었고, 이미 서가에 꽂힌 것을 다시 여는 절차는 그만큼 늘지 않았다.
6.1질문은 도구의 성능이 아니라 적용 범위다
7월의 인용 검증기 비교에서는 값싼 심판 모델도 프런티어 모델과 맞먹는 정확도를 냈다. 검증 성능 자체는 이미 쓸 만하다는 뜻이다. 그러니 지금 부족한 것은 더 정확한 검증기가 아니다. 같은 검증기를 어디에 걸어 두었는가가 갈린다. 투고함 앞에 세우면 올해 들어오는 원고를 거르고, 서가에 걸면 2023년부터 쌓인 것을 센다. 지금은 거의 전부 앞쪽에 서 있다.
비용 구조도 비대칭이다. 투고 전 검증은 원고 한 편당 몇십 건을 보면 되고 결과도 저자에게 돌려주면 끝난다. 기간행 소급 점검은 수백만 편을 대상으로 하고, 무언가를 찾아낸 뒤에는 저자 연락, 편집위원회 판단, 정정문 발행, 색인 갱신이 줄줄이 따라붙는다. 4절의 98.4%는 기술이 모자라서 나온 수치가 아니라 이 절차를 누가 감당할지가 정해지지 않아서 나온 수치에 가깝다.
6.2인용 검증은 환각 탐지 가운데 가장 쉬운 문제다
Zhao 연구진은 논의 말미에 자기 연구의 자리를 이렇게 적었다. 축자로 "citation verification is among the easiest hallucination detection problems", 인용 검증은 환각 탐지 문제 가운데 가장 쉬운 축에 든다는 것이다. 이유도 함께 적었다. 참고문헌은 이산적인 객체이고, 대조할 정답 목록이 바깥에 존재하며, 맞고 틀림을 기계가 판정할 수 있다.
그러면 나머지가 남는다. 실재하는 논문을 인용하면서 그 논문이 하지 않은 주장을 붙이는 경우, 숫자를 한 자리 틀리게 옮기는 경우, 조건절을 떼고 결론만 가져오는 경우. 이런 것들은 색인 대조로 잡히지 않는다. 4,046건이라는 수는 그래서 바닥값에 가깝다. 가장 쉬운 문제에서 그만큼 나왔고, 더 어려운 문제들은 아직 세는 방법조차 합의되지 않았다.
페블러스 관심의 이유
페블러스가 파는 것은 모델이 아니라 데이터가 쓸 만한지 확인하는 일이다. 이 글이 보여 주는 것은 그 확인의 대상이 입력 데이터에서 산출물 쪽으로 넓어져야 한다는 점이다. 학술 문헌은 그 변화가 가장 먼저, 가장 또렷하게 드러난 현장일 뿐이다.
그리고 그 말은 이 글이 지어낸 것이 아니라 1차 논문이 직접 적어 두었다. Zhao 연구진은 논의 말미에서, 과학은 환각을 잡기에 가장 유리한 조건을 갖춘 분야라고 적는다. 색인 체계가 있고, 대규모 서지 데이터베이스가 있고, 인용 규범과 편집 심사와 자동 검증 도구가 있다. 그런데도 환각이 기록에 들어와 남는다. 그래서 저자들은 비교 대상을 나열한다. 정부 보고서, 법률 문서, 진료 기록, 기업 지식베이스, 그리고 언론. 그런 영역에서는 같은 오류가 "higher in prevalence, harder to detect, and less likely to be corrected", 더 흔하고 찾기 더 어렵고 고쳐질 가능성은 더 낮다고 썼다.
사내 위키, 분기 보고서, 회의록 요약, 라벨링 결과, 합성 데이터셋이 그 목록 안에 들어 있다. 이 가운데 어느 것도 Crossref나 OpenAlex에 색인되지 않고, 틀린 줄을 발견했을 때 정정문을 낼 곳도 없다.
7.1품질을 비율로만 잡아 두면 쌓이는 쪽이 안 보인다
4절에서 본 눈금 차이는 조직 안에서도 되풀이된다. 모델 평가는 비율로 말하고, 산출물은 건수로 쌓인다. 날조율이 절반에서 3분의 1로 내려가는 동안에도 사내 문서고의 가짜 각주 건수는 늘 수 있다. 쓰는 사람이 늘면 그렇게 된다.
거기에 2절이 하나를 더한다. 비율조차 분모에 따라 달라진다. 같은 모델의 날조율이 전체 응답 기준으로는 10.2%이고 거절을 뺀 응답 기준으로는 21.3%였다. 어느 쪽도 조작이 아니고 둘 다 성실하게 계산된 값이다. 품질 지표를 "우리가 쓰는 모델의 현재 성능" 한 줄로 잡아 둔 조직은, 그 분모가 무엇인지를 대개 함께 적어 두지 않는다. 그리고 그 지표는 작년에 만든 문서에 대해 아무것도 말해 주지 않는다.
7.2월요일에 물어볼 수 있는 질문
기업이 자기 AI 산출물을 어떻게 재감사하고 있는지에 대해서는 이번 조사에서 쓸 만한 사례를 확보하지 못했다. 아래 네 줄은 사례가 아니라 질문이고, 도구를 사기 전에 문서만 보고 물을 수 있는 것들이다.
- 우리가 LLM으로 만든 문서와 요약과 데이터셋은 어디에 몇 건 있는가. 재고 목록이 있기는 한가
- 각 건에 어느 모델로 어느 날짜에 만들어졌는지가 적혀 있는가
- 모델을 교체했을 때 과거 산출물을 다시 여는 절차가 있는가. 아니면 새로 만드는 것만 좋아지는가
- 사내 검색이나 검색증강생성에 들어간 과거 AI 산출물이 다시 입력으로 돌아오는 경로는 막혀 있는가
마지막 줄은 추측이 아니다. Zhao 연구진이 적은 두 번째 증폭 경로가 정확히 그것이다. 오늘의 산출물이 내일의 학습 자료가 되는 고리는 학술 저장소에만 있는 것이 아니다. 사내 지식베이스는 그 고리가 훨씬 짧고, 중간에 아무도 서 있지 않다.
7.3이것은 어떤 종류의 일인가
산출물 재고를 세고, 각 건에 출처와 생성 시점을 붙이고, 모델이 바뀔 때 과거분을 다시 여는 일. 이것은 더 좋은 모델을 들여서 해결되는 종류의 일이 아니다. 모델을 바꾸면 내일 만들 것이 좋아지고, 어제 만든 것은 그대로다. 데이터 쪽에서 계속 돌려야 하는 상시 업무이고, 그 성격을 알아보는 것이 첫 단계다.
방치된 것을 다시 읽는 쪽의 선례가 없지는 않다. 7월에 다룬 29년 묵은 코드의 버그를 AI가 찾아낸 이야기가 그 꼴이었다. 출처를 따라가는 쪽은 8월의 프로버넌스 감사 보고서가 다뤘다. 다만 그 글의 결론을 여기에 그대로 옮길 수는 없다. 이 글이 가리키는 것은 감사 기법이 아니라 감사의 대상이고, 대상이 흐름에서 재고로 옮겨 가면 필요한 일의 주기와 담당이 함께 바뀐다.
사실과 해석을 가른다. 1절의 수명 값과 궤적은 Queen·Zou 분석의 공개 원자료에서, 2절의 날조율은 arXiv 2609.14988 전문에서, 3절과 4절의 4,046건·78.8%·85.3%·98.4%와 축자 인용은 Lancet 407권 감사 전문과 arXiv 2605.07723 전문에서 직접 가져왔다. 5절의 정정 문구는 네이처 기사에 붙은 정정문 축자다. 두 계열의 배수를 1.44로 맞춰 본 산술, 네 관문 도식의 배치, 그리고 7절 전체는 페블러스가 붙인 해석이다. 확인하지 못한 것도 적어 둔다. 정정 이전 표기가 얼마나 널리 퍼졌는지는 매체 단위로 세지 않았고, 출판사들의 검증 도구 도입 규모는 1차 발표문으로 확인하지 못했으며, 기업의 AI 산출물 재감사 관행에 대해서는 인용할 만한 사례를 찾지 못했다. 국내 보도와 제도 상황은 이번 조사 범위 밖이다.
참고문헌
본문 수치의 출처를 성격별로 나눠 적는다. 1번부터 5번까지가 이 글이 딛는 1차 문서이고, 3절과 4절의 모든 수치가 1번과 2번에서 나왔다. 6번부터 13번까지는 보도와 정정과 사후 서신이다. 마지막 묶음은 본문에서 가른 페블러스 선행 글이다.
1차 — 감사와 측정
- 1.Maxim Topaz, Nir Roguin, Pooja Gupta, Zhihong Zhang, Laura-Maria Peltonen, "Fabricated citations: an audit across 2·5 million biomedical papers," The Lancet 407(10541):1779–1781 (온라인 2026년 5월 7일, 인쇄 5월 9일). doi:10.1016/S0140-6736(26)00603-3 — 4,046건·2,810편, 정밀도 91%, 98.4% 무조치, 두 계열의 연도별 값, 권고 네 개가 전부 여기서 나왔다. 모집단은 PMC 공개접근 서브셋이다.
- 2.Zhenyue Zhao, Yihe Wang, Toby Stuart, Mathijs De Vaan, Paul Ginsparg, Yian Yin, "LLM hallucinations in the wild: Large-scale evidence from non-existent citations" (2026년 5월 8일, v1). arXiv:2605.07723 — 78.8%·85.3%·146,932건·저장소별 비율·Google Scholar 등재 관찰과 축자 인용의 출처다.
- 3.Maxim Topaz, Zhihong Zhang, Nir Roguin, Pooja Gupta, Zhiyuan Li, Laura-Maria Peltonen, "Biomedical Reference Generation Remains Unreliable across 26 Large Language Models" (2026년 9월 14일, v1). arXiv:2609.14988 — 2절의 55.4%·35.3%·10.2 대 21.3%와 결론 축자가 여기서 나왔다. 동료심사 전 프리프린트다.
- 4.Owen Queen, James Zou, "The shelf life of LLM findings" (2026년 11월 2일). zou-group.github.io/llm-claims-shelf-life, 원자료 github.com/zou-group/llm-claims-shelf-life — 1절의 22/17/8/3, 31.7개월, 만료 추정일 2026년 4월 29일, 궤적 값은 저장소의 lifespan.csv와 claims.csv에서 직접 받았다. 연구실 블로그이고 동료심사를 거치지 않았다.
- 5.William H. Walters, Esther I. Wilder, "Fabrication and errors in the bibliographic citations generated by ChatGPT," Scientific Reports 13:14045 (2023년 9월 7일). doi:10.1038/s41598-023-41032-5 — 널리 인용되는 "55%"의 원 논문이고, 1절이 추적한 보고의 출발점이다. Lancet 감사도 서론의 각주로 이 논문을 든다.
보도·정정·사후 서신
- 6.Miryam Naddaf, "Surge in fake citations uncovered by audit of 2.5 million biomedical-science papers," Nature 653(8115):658–659 (2026년 5월 8일), doi:10.1038/d41586-026-00748-w — 2026년 5월 13일 정정이 붙어 있다. 5절의 정정 축자가 여기서 나왔다.
- 7.Miryam Naddaf, Elizabeth Quill, "Hallucinated citations are polluting the scientific literature. What can be done?" Nature 652(8108):26–29 (온라인 2026년 4월 1일). doi:10.1038/d41586-026-00969-z — 3절의 4,000편 표본과 상위 100편 중 65편, 11만 편 외삽, 카바낙의 사례, "프랑켄슈타인 인용"이라는 표현의 출처다. 그 표현은 Grounded AI 공동창업자 조 쇼크먼의 말이다.
- 8.Kaia Glickman, "AI is ditching hallucinated references — and other bad habits," Nature news (2026년 11월 19일). doi:10.1038/d41586-026-03753-1 — 4번 분석을 보도한 기사이고, 그 분석이 블로그 글이며 동료심사를 거치지 않았다는 서술이 본문에 있다.
- 9.Chris Stokel-Walker, "Hallucinated citations highest in social sciences preprints site," Nature news (2026년 5월 14일). doi:10.1038/d41586-026-01545-1 — 4절의 저장소별 비율을 보도한 기사다.
- 10.Ahmed M. Mousa, Mohammed Mahmoud-Katheer, "Fabricated citations at scale: from detection to prevention," The Lancet 408(10561):1169–1170 (2026년 9월 26일). doi:10.1016/S0140-6736(26)01435-2 — 5절에서 다룬 반박 서신이다. 재현율 미검증을 근거로 증가 배수를 반박한다. 정정이 아니라 독자 서신이다.
- 11.David B. Resnik, Mohammad Hosseini, "Hallucinated citations … may constitute research misconduct," Accountability in Research (온라인 2026년 3월 15일) — 5절에서 인용한 비판의 배경이 되는 논의다. 환각 인용을 연구부정으로 다룰지에 대한 논쟁은 본지의 9월 연구윤리 글이 따로 다뤘다.
- 12.Jake Linardon, Hannah K. Jarman, Zoe McClure, Cleo Anderson, Claudia Liu, Mariel Messer, "Influence of Topic Familiarity and Prompt Specificity on Citation Fabrication in Mental Health Research Using Large Language Models," JMIR Mental Health 12:e80371 (2025). doi:10.2196/80371 — 과제 설정에 따라 날조율이 갈린다는 2절의 논지를 뒷받침하는 선행 측정이다.
- 13.Sai Anirudh Athaluri 외, "Exploring the boundaries of reality: investigating the phenomenon of AI hallucination in scientific writing through ChatGPT references," Cureus 15:e37432 (2023) — Lancet 감사가 서론에서 선행 추정치의 근거로 든 논문 가운데 하나다.
페블러스 선행 글
- 14.AI 글 탐지기는 새 세대 모델 앞에서 무너진다 (2026년 11월 14일) — 1절에서 층을 가른 글이다. 그쪽은 재는 도구가 낡는 이야기다.
- 15.LLM이 다시 쓴 학술 인용에서 반박 절반이 사라졌다 (2026년 9월 3일) — 2절에서 가른 글이다. 그쪽은 실재하는 논문의 태도가 바뀌는 이야기다.
- 16.AI가 AI를 심사한다 (2026년 5월 24일) · 값싼 LLM 심판도 인용 검증에서 프런티어 모델과 맞먹었다 (2026년 7월 13일) — 각각 3절과 6절에서 자리를 가른 글이다.
- 17.AI 연구윤리, 한국과 미국은 어디까지 부정행위로 볼까? (2026년 9월 23일) · 연구 작업대 글 — 5절에서 요약 경유 인용을 정리한 두 글이다.
- 18.사람이 29년 못 본 버그를 AI가 읽어냈다 (2026년 7월 7일) · 메타데이터 한 줄로 AI 연구 에이전트가 퍼뜨리는 과학사기 (2026년 8월 6일) · 데이터도 유통기한이 있다 (2026년 6월 4일) — 7절에서 선례와 방향 차이를 적은 글들이다.