Executive Summary
2026년 BMJ에 실린 한 연구가 1999년부터 2024년까지 나온 암 연구 논문 264만 편을 한꺼번에 훑었다. 호주 퀸즐랜드공대 Adrian Barnett 교수팀이 만든 것은 논문의 제목과 초록만 읽고 위조 여부를 가려내는 BERT 기반 판별기다. 결과는 무거웠다. 26만 편, 전체의 9.87%가 이른바 paper mill(논문 공장)의 특징과 일치했다. 그런데 판별기가 무엇을 찾아냈는가만큼 중요한 질문이 하나 더 있다. 이 도구가 구조적으로 놓치는 것은 무엇인가.
여기서 멈추면 반쪽짜리 이야기다. 판별기의 정확도는 91%로 보고됐지만, 그 91%는 어제까지의 위조 스타일에 대한 정확도다. 학습에 쓰인 위조 논문들은 정형화된 템플릿을 따랐고, 판별기는 그 문체의 지문을 익혔다. 생성 AI로 위조 논문을 찍어내는 지금은 그 템플릿 자체가 흐려지고 있다. 판별기를 통과했다는 사실이 곧 그 논문이 깨끗하다는 뜻은 아니다.
이 문제가 데이터 실무자에게 중요한 이유는 하나다. 이 오염된 코퍼스는 AI가 학습하고, RAG가 검색하고, 의사가 인용하는 바로 그 지식의 원천이다. 오염을 재는 도구조차 상당수를 놓친다면, 우리는 이 코퍼스를 어떤 신뢰도로 삼키고 있는 것인가.
9.87%
paper mill 플래그 비율
264만 편 중 26만 1,245편 — 약 열 편에 한 편꼴
91%
판별기 정확도
검증 세트 기준 — 다만 어제의 위조 템플릿에 대한 정확도
2배
플래그 논문의 인용수
정상 논문 대비 — 오염이 스스로를 증폭하는 구조
19/20
플래그가 나온 저널
조사한 상위 저널 20곳 중 19곳 — 예외는 한 곳뿐
260만 편 중 26만 편
먼저 규모를 정확히 짚자. 연구팀은 1999~2024년 사이 출판된 암 연구 논문 264만 7,471편을 스캔해, 그중 26만 1,245편을 paper mill 산물로 의심된다고 플래그했다. 비율로는 9.87%, 대략 열 편에 한 편이다. 이것은 개별 연구자의 부주의한 실수가 아니라, 저자 자리를 상품처럼 사고파는 산업화된 위조 비즈니스가 남긴 흔적이다.
더 눈여겨볼 것은 시간의 궤적이다. 2000년대 초에는 오염 의심 비율이 1% 안팎이었지만, 이후 꾸준히 올라 2022년에는 16%대까지 치솟았다. 특정 분야는 더 심하다. 간암·위암·골암 연구에서는 의심 비율이 20~22%에 이른다.
저품질 저널만의 문제라는 통념도 무너진다. 연구팀이 조사한 상위 저널 20곳 가운데 19곳에서 플래그 논문이 나왔고, 예외는 Nature Cancer 한 곳뿐이었다. 임팩트 팩터 상위 10% 저널도 안전지대가 아니었다는 뜻이다. 지역 편중도 뚜렷하다. 중국 소속 기관 논문은 17만 편 넘게 플래그됐는데, 이는 중국 전체 암 연구 산출물의 약 36%에 해당한다(관련 보도: ScienceDaily, ecancer).
이 편중에는 까닭이 있다. paper mill이 노리는 곳은 검증이 까다로운 대형 임상시험이 아니라, 결과를 그럴듯하게 지어내기 쉬운 분자암생물학과 초기 실험실 연구다. 논문 편수 압박이 큰 분야일수록 저자 자리를 사고파는 수요가 몰린다. 숫자의 편중은 곧 위조가 어디서 가장 손쉬운지를 비추는 지도다.
BERT가 잡아낸 것, 놓친 것
판별기의 설계는 의외로 단순하다. 논문 본문이나 그림이 아니라 제목과 초록 텍스트만을 입력으로 받는다. Retraction Watch 데이터베이스에 등록된 알려진 paper mill 논문 2,202편과, 정상으로 추정되는 논문 2,202편을 균형 있게 짝지어 파인튜닝한 BERT 분류기다. 학습·튜닝·내부 검증으로 나눈 뒤, 이미지 무결성 전문가가 따로 골라낸 의심 논문 세트로 외부 검증까지 거쳤다. 이렇게 얻은 정확도가 91%다.
제목과 초록만 읽는다는 설계에는 대가가 따른다. 덕분에 264만 편을 빠르게 훑을 수 있었지만, 조작된 그림이나 짜맞춘 실험 데이터처럼 본문 깊숙이 숨은 흔적은 처음부터 시야 밖이다. 연구팀이 이미지 무결성 전문가가 따로 골라낸 세트로 외부 검증을 거친 것도, 텍스트만으로는 닿지 않는 사각지대가 있음을 알았기 때문이다.
문제는 91%라는 숫자가 무엇을 보증하고 무엇을 보증하지 않느냐다. 정확도(accuracy)는 맞힌 비율일 뿐, 위조 논문을 얼마나 놓치지 않는지를 재는 재현율(recall)과는 다른 지표다. 실제로 원 논문에는 "false negative의 특성"을 정리한 표가 있다. 발행 연도, 출판사, 제1저자 국가, 암종별로 판별기가 놓친 위조 논문의 분포를 분석한 것이다.
이 표가 말하는 바는 분명하다. 판별기는 어떤 유형의 위조 논문을 체계적으로 놓친다. 놓침이 무작위가 아니라 특정 연도·출판사·국가·암종에 쏠려 있다는 것은, "통과 = 무결"이라는 등식이 성립하지 않음을 데이터 스스로 증언한다는 뜻이다. 통과한 논문 중에도 판별기가 못 잡은 위조가 섞여 있다.
통과가 곧 결백은 아니다
흥미로운 것은, 이 한계를 가장 분명하게 말하는 사람이 도구를 만든 연구자 본인이라는 점이다. Barnett은 자신의 판별기를 "과학판 스팸 필터"에 비유했다. 이메일 스팸 필터가 스팸을 완벽히 걸러내지 못하듯, 이 도구도 통과와 차단이 완벽하지 않다는 은유다.
그가 남긴 문장은 도구의 인식론적 지위를 정확히 규정한다. 이것은 100% 증명이 아니라, 편집자와 심사자에게 "이 논문을 다시 들여다보고 paper mill의 다른 징후를 찾아보라"고 권하는 빠르고 간단한 신호라는 것이다. 판별기의 출력은 유죄 판결이 아니라 재검토 우선순위다.
이 지점이 데이터 품질의 오래된 원칙과 정확히 겹친다. 검증 도구는 신뢰도를 보증하지 않는다. 다만 어디를 먼저 의심할지 우선순위를 줄 뿐이다. 플래그되지 않은 논문이 결백을 증명받은 것이 아니듯, 검증 파이프라인을 통과한 데이터가 품질을 인증받은 것도 아니다. 이 둘을 혼동하는 순간, 검증은 안심을 파는 도장으로 전락한다(Inside Precision Medicine).
인용이 인용을 낳는다
오염이 위험한 진짜 이유는 그것이 가만히 있지 않기 때문이다. Nature 보도에 따르면 플래그된 논문은 정상 논문보다 평균 두 배 많은 인용을 받는다. 일부 저널에서는 저널 전체 인용의 57%가 플래그 논문에서 발생했다. paper mill 논문들이 서로의 논문을 인용해 주면서, 인용 수와 저널 임팩트 팩터 자체를 부풀리는 자기증폭 고리가 돈다.
왜 이렇게까지 커졌을까. paper mill은 논문의 저자 자리를 상품으로 파는 산업이다. 약 1만 9천 건의 온라인 광고를 분석한 조사에서 저자 자리 가격은 36달러에서 5,600달러까지 형성됐고, 제1저자 자리 평균은 1,030달러였다. 수요가 있으니 공급이 산업화됐고, 산업화된 위조물이 인용 시장에서 정상 논문을 밀어낸다.
- ·인용 배가. 플래그 논문은 정상 논문 대비 약 2배의 인용을 받는다.
- ·인용의 쏠림. 일부 저널에서는 받은 인용의 57%가 플래그 논문에서 나왔다.
- ·가격표가 있는 시장. 저자 자리 36~5,600달러, 제1저자 평균 1,030달러.
이 고리가 무서운 것은, AI가 학습하는 코퍼스나 의사가 근거로 삼는 문헌 목록이 대개 인용 수를 신뢰 신호로 쓰기 때문이다. 인용이 많은 논문일수록 위로 올라온다면, 오염된 논문은 오히려 더 잘 보이는 자리에 앉는다.
템플릿이 사라지는 시대
Barnett의 경고 중 가장 서늘한 문장은 도구의 유효기간을 겨눈다. 그의 시스템이 작동한 이유는 과거의 paper mill이 정형화된 템플릿을 따랐기 때문인데, 이제 생성 AI로 논문을 찍어내는 시대에는 그 템플릿이 사라지고 있다는 것이다. 판별기가 학습한 "위조의 문체적 지문"이 지워지는 만큼, 오늘의 91%가 내일에도 유지된다는 보장은 없다.
이 글의 출발점은 앞서 다룬 이야기와 짝을 이룬다. 공짜로 열린 3억 편의 논문이 학술 코퍼스가 얼마나 넓어졌는가(양)의 이야기였다면, 이번 사건은 그 코퍼스가 얼마나 오염됐는가(질)의 이야기다. 그리고 오염을 재는 자 자신의 한계까지 포함한 이중 구조라는 점에서 한 걸음 더 나간다. 넓어진 코퍼스를 검증 없이 AI 파이프라인에 넣으면, 오염은 학습 데이터와 RAG 지식베이스를 거쳐 최종 답변으로 번진다.
그래서 남는 질문은 도구의 성능이 아니라 태도다. 페블러스가 데이터 품질을 이야기할 때 반복하는 원칙은 "검증을 통과했다는 사실 자체도 검증 대상"이라는 것이다. 판별기의 플래그는 재검토의 시작점이지 결론이 아니고, 통과는 무결의 증명이 아니라 아직 걸리지 않았다는 상태일 뿐이다. AI가 학습하고 의사가 인용하는 지식의 원천을 다룰 때, 우리에게 필요한 것은 더 똑똑한 단일 판별기가 아니라 여러 신호를 교차하고 재현율의 한계를 전제로 설계하는 검증 계층이다.
암 연구 논문 열 편에 한 편이 위조 의심이라는 숫자보다 더 오래 남는 것은, 그것을 걸러낼 도구조차 어떤 위조를 체계적으로 놓친다는 사실이다. 데이터 품질은 소스가 착하냐로 결정되지 않는다. 넣기 전에 무엇을, 어떻게 검증했느냐로 결정된다.
참고문헌
학술 논문
- 1.Scancar, B., Byrne, J. A., Causeur, D., & Barnett, A. G. (2026). Machine learning based screening of potential paper mill publications in cancer research: methodological and cross sectional study. The BMJ, 392, e087581. doi.org/10.1136/bmj-2025-087581
보도·업계 소스
- 2.ScienceDaily. (2026-07-14). AI flags more than 250,000 suspicious cancer research papers. sciencedaily.com
- 3.ecancer. (2026). New tool exposes scale of fake research flooding cancer science. ecancer.org
- 4.Nature. (2026). Paper mill cancer studies get double the number of citations as genuine papers. nature.com
- 5.Inside Precision Medicine. (2026). Paper Mills and the Fight Against Scientific Fraud. insideprecisionmedicine.com