Executive Summary

주요 수치

앞의 두 칸은 얼마나 많은 논문에 흔적이 남았는지를, 뒤의 두 칸은 그 흔적이 어디에 몰려 있는지를 말합니다.

출처: Holzwarth, González-Márquez, Kobak, arXiv:2608.10715 (2026-08-11)

이번 추정의 재료는 논문에 쓰인 낱말의 빈도뿐입니다. 연구진은 챗GPT 공개 이후 사용량이 갑자기 늘어난 낱말 379개를 마커로 삼았습니다. 목록에는 delve처럼 눈에 띄는 낱말도 있지만 상당수는 these나 potential 같은 문체 기능어입니다. 유행어 몇 개를 잡아내는 방식이 아니라, 문장을 매끄럽게 손볼 때 함께 늘어나는 낱말의 총량을 보는 방식입니다.

이 목록은 이번에 새로 만든 것이 아닙니다. 같은 연구실이 앞선 연구에서 PubMed 초록을 훑어 2024년에 사용량이 두드러지게 늘어난 낱말로 추려 둔 것을 그대로 본문 분석에 가져왔고, 이번 데이터의 2025년 초록에서도 그 낱말들이 거의 모두 다시 늘었는지 확인하는 절차만 거쳤습니다. 그래서 89%는 앞선 연구가 고른 낱말 목록 위에 서 있는 값입니다. 그 목록에 없는 방식으로 문장이 다듬어졌다면 이 잣대에는 걸리지 않습니다.

이 방식에 필요한 것은 사람만 쓰던 시절의 기준선입니다. 연구진은 2023년 이전 추세를 외삽해 LLM이 없었다면 2025년에 이 낱말들이 얼마나 나왔을지를 추정하고, 실제 관측치가 그 기준선을 넘은 만큼을 논문 단위 비율로 환산했습니다. 대상은 PubMed Central 오픈액세스 논문 119만 4,287편, 기간은 2017년부터 2025년까지입니다.

이 119만 편은 PMC에 있는 논문 전체가 아닙니다. 연구진은 2026년 1월 23일자 오픈액세스 스냅샷 712만 5,722편에서 영어가 아닌 논문과 발행일 정보가 없는 논문을 걷어 내고, 서론·방법·결과·고찰 네 섹션을 모두 갖추고 각 섹션과 초록이 영문 250자를 넘는 논문만 남겼습니다. 그렇게 160만 편이 되고, 그중 2017년 이후 발행분이 119만 편입니다. 89%는 이 부분집합에서 나온 값이라서, 섹션 구분이 없는 짧은 보고나 오픈액세스가 아닌 저널의 논문은 애초에 계산에 들어 있지 않습니다.

연도별 값은 세 해 연속 올랐고, 같은 논문을 초록만 놓고 재면 훨씬 낮게 나옵니다.

본문 전체와 초록만을 각각 기준으로 삼은 추정치. 출처: arXiv:2608.10715 Table 1

두 열의 간격은 텍스트 길이에서 나옵니다. 글이 길수록 마커 낱말이 한 번이라도 등장할 기회가 늘기 때문입니다. 그래서 89%는 논문 한 편을 통째로 놓고 이 논문의 어딘가에 LLM의 손이 닿았다고 판정한 비율에 가깝습니다. 문장 몇 개를 고친 경우와 문단을 통째로 생성한 경우는 이 방법으로 갈라지지 않습니다.

이 주제의 숫자를 이미 본 독자라면 훨씬 낮은 값을 기억할 것입니다. 같은 연구실이 2025년 7월 사이언스 어드밴시스에 실은 앞선 연구는 PubMed 초록 1,510만 건을 훑어 2024년 초록 가운데 최소 13.5%가 LLM을 거쳤다고 보고했습니다. 당시 언론은 이 값을 일곱 편 중 한 편으로 옮겼습니다.

두 숫자는 서로 다투는 관계가 아닙니다. 앞선 연구가 낸 값은 하한선이었습니다. 낱말 빈도의 초과분만 세면, LLM의 도움을 받았지만 마침 그 낱말을 쓰지 않은 논문은 계산에 들어오지 않습니다. 이번 연구는 그 누락을 메우는 식을 제시했습니다. 초과분을 사람이 그 낱말을 쓰지 않을 확률로 나눠 전체 비율을 복원하는 방식입니다.

보정의 크기는 낱말 하나로도 확인됩니다. 2025년 12월 초록에서 these가 등장한 비율은 50%였고, 사람만 썼다면 33%였을 것으로 추정됐습니다. 빈도 차이만 세면 17%가 나오고, 그 차이를 보정하면 25%가 됩니다.

그래서 12~16%와 89% 사이의 간격은 대부분 사람들의 행동이 아니라 잣대에서 나옵니다. 새 방법으로 2024년을 다시 재면 초록은 31%, 본문 전체는 52%입니다. 앞선 연구가 같은 해 초록에서 얻은 13.5%와 나란히 놓으면 보정만으로 값이 두 배 넘게 올라간 셈입니다.

보정식이 제대로 작동하는지는 답을 미리 알고 만든 가상 코퍼스로 확인했습니다. 텍스트 10만 건에 마커 낱말 500개를 심고 LLM이 손댄 비율을 0에서 1까지 바꿔 넣으면서 그 값을 되찾아 오는지 봤더니, 추정치와 참값의 차이는 어느 구간에서도 0.02 아래였습니다. 다만 이 확인의 성격은 분명히 해 둘 필요가 있습니다. 추정식이 전제한 방식으로 데이터가 만들어진 세계에서 식이 답을 잘 푼다는 뜻이고, 실제 논문에 사람이 쓴 것과 LLM이 손본 것의 정답표를 붙여 놓고 맞춰 본 검증은 아닙니다.

고찰 문단은 방법 문단보다 LLM이 개입할 확률이 두 배입니다. 연구진이 초록에 직접 적어 둔 문장입니다. 문단 하나를 무작위로 뽑아 재면 고찰은 68%, 방법은 32%입니다.

섹션을 통째로 재면 값이 전부 올라갑니다. 긴 섹션은 마커 낱말을 담을 기회가 많아 길이가 값에 섞이기 때문입니다. 연구진이 섹션마다 255단어씩 잘라 길이를 맞춘 값과 섹션 전체를 그대로 잰 값을 나란히 놓으면 그 차이가 보입니다.

2025년 12월 기준. 출처: arXiv:2608.10715 Table 1

방법 섹션이 가장 낮은 이유는 그 섹션이 담는 내용에 있습니다. 시약 농도와 장비 모델명, 표본 수, 통계 절차는 실험을 한 사람만 쓸 수 있고 문장을 매끄럽게 만들 여지도 적습니다. 고찰은 결과의 의미를 넓히고 한계를 적는 자리라서 일반적인 문장으로 채워도 티가 덜 납니다. 초록이 문단 단위로도 67%에 닿는 것은 초록이 사실상 요약문이고, 요약은 LLM에게 맡기기 가장 쉬운 작업이기 때문입니다.

다만 방법 섹션을 깨끗한 구역으로 읽으면 곤란합니다. 섹션 전체로 재면 방법도 54%입니다. 문단 단위 32%와 섹션 전체 54%의 차이는 오염 강도의 차이라기보다, 긴 섹션 안에서 어느 한 문단이라도 손이 닿을 확률이 그만큼 높다는 뜻입니다. 낮은 쪽은 낮은 쪽일 뿐 0이 아닙니다.

여기까지가 논문이 보고한 내용입니다. 논문은 정책 논의에 쓸 관측치를 내놓는 데까지만 가고, 그 값을 코퍼스 쪽으로 옮겨 보는 일은 읽는 쪽의 몫으로 남습니다.

과학 문헌은 과학 AI가 학습하고 검색하는 원천 자료입니다. 오염률이 어디나 같다면 판단은 둘 중 하나입니다. 걸러 내거나, 그대로 씁니다. 값이 섹션마다 두 배씩 갈리면 판단의 단위가 논문에서 섹션으로 내려갑니다. 논문 한 편에 매기는 신뢰도 하나로는 방법 섹션의 32%와 고찰 섹션의 68%를 같은 값으로 덮게 됩니다.

검색 증강 생성에서 근거 문단을 뽑을 때 방법과 고찰을 같은 무게로 다룰 이유는 크지 않습니다. 재현에 필요한 정보는 방법 쪽에 몰려 있고 그쪽 값이 낮습니다. 반대로 문체까지 학습하는 쪽에서는 고찰 문단이 많이 섞일수록 모델이 자기 출력과 닮은 문장을 되먹임하는 몫이 커집니다. 그 되먹임이 성능에 어떻게 남는지는 이 논문이 다룬 범위가 아니고, 지금은 우려의 형태로만 말할 수 있습니다.

실무에서 필요한 것은 오염 여부보다 오염 지도입니다. 섹션과 발행 연도, 저자 국가처럼 값이 다르게 나오는 축은 대부분 이미 메타데이터로 있습니다. 코퍼스를 만들 때 그 축을 레코드에 남겨 두면 나중에 가중치를 다시 매길 수 있고, 남겨 두지 않으면 다시 계산할 방법이 없습니다. 문헌을 통째로 밀어 넣은 데이터셋에는 2019년 방법 섹션과 2025년 고찰 섹션이 같은 무게로 들어가 있습니다.

같은 잣대를 자기 코퍼스에 직접 대볼 수도 있습니다. 이번 분석 코드는 GitHub에 공개돼 있고, 마커 낱말 목록은 앞선 연구 저장소에 표로 들어 있으며, PMC 오픈액세스 데이터도 누구나 내려받습니다. 옮겨 쓸 때 함께 옮겨야 하는 것은 코드가 아니라 기준선입니다. 사람만 쓰던 시절의 낱말 빈도를 그 코퍼스에서 다시 세워야 하고, 2023년 이전 자료가 얇은 코퍼스라면 기준선을 세울 근거가 없어 이 방법 자체가 서지 않습니다.

사람이 쓴 데이터라는 전제가 흔들리는 일은 문헌만의 사정이 아닙니다. 설문 응답에서 같은 문제가 어떻게 나타났는지는 사람에게 물었는데, 점점 AI가 답하고 있다에 정리했고, 논문 코퍼스를 판별기로 걸러 낸 시도는 암 논문 260만 편을 걸러 가짜 26만 편을 찾아낸 AI 판별기에서 다뤘습니다. 논문 본문이 아니라 심사 쪽에서 벌어진 일은 ICLR 2026 리뷰 76,139편 분석에 있습니다.

격차가 가장 크게 벌어진 축은 저자의 국가입니다. 2025년 기준으로 한국 85%, 중국 82%, 대만 80%입니다. 영어를 모국어로 쓰는 나라 전체는 37%이고 영국은 28%입니다. 비영어권 전체는 72%입니다.

2025년 논문 전체 기준. 출처: arXiv:2608.10715 Figure 3, Table S3

시간축을 함께 보면 방향이 보입니다. 2023년 이전에는 마커 낱말의 빈도가 비영어권에서 훨씬 낮았는데, 2025년에는 영어권 빈도에 거의 붙었습니다. 연구진은 이를 언어적 수렴으로 적었습니다.

같은 수렴이 두 방향으로 읽힙니다. 하나는 언어 장벽이 낮아진 것입니다. 영어로 쓰는 데 시간을 많이 쓰던 연구자가 그 시간을 연구에 돌릴 수 있게 됐고, 심사에서 영어 문장 때문에 감점되는 일도 줄어듭니다. 다른 하나는 문장의 다양성이 줄어드는 것입니다. 연구진은 환각 인용, 지적 다양성의 균질화, 교정을 맡기면서 비판적 검토가 약해지는 것을 위험으로 함께 적었습니다.

논문이 가장 힘주어 적은 위험은 사용 사실을 밝히지 않는 관행입니다. LLM을 어떻게 쓰라는 지침은 이미 여러 곳에 있는데도 많은 저자가 그것을 지키지 않고 사용 사실도 알리지 않으며, 그 상태가 이어지면 결과 하나하나가 아니라 과학이라는 절차에 대한 사회의 신뢰가 깎인다는 것입니다. 정작 어떤 지침을 새로 만들어야 하는지는 이 논문의 몫이 아닙니다. 저자들이 맺음말에서 한 말은 정책을 논하려면 먼저 값이 있어야 한다는 정도입니다.

코퍼스를 만드는 쪽에는 이 대목이 곤란한 문제로 옵니다. 국가별 값이 다르다는 것은 저자 국가를 가중치 축으로 쓸 수 있다는 뜻이지만, 그 축을 필터로 쓰면 언어 장벽을 도구로 넘은 연구자의 논문을 먼저 걸러 내게 됩니다. 낱말 빈도는 글이 어떻게 쓰였는지를 알려 주고, 그 글의 내용이 맞는지는 알려 주지 않습니다. 89%라는 값이 요구하는 것은 문헌을 덜 믿는 태도가 아니라, 문헌의 어느 부분을 어떤 근거로 믿는지 적어 두는 습관입니다.

학술 논문

• 1.Holzwarth, L., González-Márquez, R., & Kobak, D. (2026). "Most biomedical publications show signs of LLM-assisted writing." arXiv:2608.10715, 2026-08-11.
• 2.Kobak, D., González-Márquez, R., Horvát, EÁ., & Lause, J. (2025). "Delving into LLM-assisted writing in biomedical publications through excess vocabulary." Science Advances, 11(27), eadt3813.

데이터·코드

• 3.Kobak Lab. "kobaklab/llm-usage-in-pmc." 이번 논문의 추정·검증 코드 저장소.
• 4.Berens Lab. "berenslab/llm-excess-vocab." 앞선 연구(2025)의 초과 낱말 목록과 분석 코드. 이번 분석이 쓴 마커 낱말 379개의 출처.
• 5.National Library of Medicine. "PubMed Central Open Access Subset." 분석에 쓰인 원천 코퍼스. 2026년 1월 23일자 스냅샷 기준.