Executive Summary

WorldStateMedia는 웹을 새로 긁어모은 자료가 아니다. 이미 공개돼 있던 LLM 사전학습 말뭉치를 열어, 그 안에서 국영·공영매체가 쓴 글만 도로 집어낸 자료다. 영어는 FineWeb에서, 그 밖의 언어는 FineWeb-2에서 꺼냈다. 뼈대가 되는 것은 매체 명부다. 저자들은 국영·공영매체 640곳과 그들이 운영하는 자산 1,910개, 도메인 1,183개를 모아 이름표를 붙였고, 커먼크롤 덤프에서 그 도메인에 걸리는 페이지를 전부 걷어 왔다. 그렇게 나온 수가 1억 1,800만 건이다.

표지의 136개국과 114개 언어도 전부가 아니라 거르고 남은 수다. 저자들은 페이지가 1만 건을 넘는 나라와 10만 건을 넘는 언어만 셈에 넣었고, 그 문턱을 치우면 말뭉치가 덮는 나라는 171개국으로 늘어난다. 명부를 만들 때 이름을 올린 나라는 그보다 많은 173개국이었다. 작은 나라를 떨어뜨리는 문턱이라 전체 규모는 거의 바뀌지 않지만, 어느 나라가 표에서 빠졌는지를 묻는 사람에게는 136이 답이 아니다.

관측 창은 두 갈래로 다르다. 영어는 2013년 중반 덤프에서 2025년 중반 덤프까지이고, 다국어는 2024년 중반에서 끊긴다. 뒤에서 언어별 수치를 읽을 때 이 한 해 차이를 기억해 둬야 한다. 영어에서 가장 크게 움직인 구간이 바로 그 마지막 한 해이기 때문이다.

그런데 같은 데이터셋에 건수가 둘이다. 부록에 적힌 두 번째 수는 5,800만 건이다. 영어는 7,900만에서 2,100만으로 73% 줄고, 다국어는 3,900만에서 3,700만으로 5% 남짓 준다. 줄어드는 폭이 양쪽에서 이렇게까지 다른 이유가 이 절의 전부다.

차이를 만드는 것은 중복을 어느 단위로 지웠느냐다. 커먼크롤은 몇 달에 한 번씩 웹을 다시 긁는다. 같은 기사가 한 해 동안 그 자리에 걸려 있으면 덤프 여럿에 같은 글이 따로따로 들어간다. FineWeb이 쓰는 중복 제거는 덤프 안에서만 작동하므로, 덤프를 가로질러 반복되는 같은 글은 그대로 남는다. 1억 1,800만 건은 그 상태에서 센 수다. URL을 기준으로 전 기간을 가로질러 한 번 더 지우면 5,800만 건이 된다. 영어가 유독 많이 줄어든 것은 관측 창이 열두 해로 길어 같은 기사가 다시 걸릴 기회가 그만큼 많았기 때문이다.

중복본이 실은 서로 다른 글일 가능성은 논문이 직접 닫아 둔다. 중복 URL 3,000건을 표본으로 뽑아 본 결과 59%는 글자 하나 다르지 않았고, 나머지 41%도 머리말과 꼬리말, 레이아웃이 조금 다른 정도였다고 각주가 적는다. 다른 기사가 섞여서 커진 수가 아니라, 같은 기사가 여러 번 들어가서 커진 수다.

그렇다고 1억 1,800만 건이 틀린 수인 것은 아니다. 논문 각주는 이 데이터셋이 LLM 학습 말뭉치를 들여다보는 렌즈로 쓰이기 때문에 1억 1,800만 건이 정확한 수라고 적는다. 모델이 이 글을 몇 번 보았는지를 묻는다면 반복까지 세는 쪽이 맞고, 서로 다른 기사가 몇 개인지를 묻는다면 지운 쪽이 맞다. 둘 중 하나가 틀린 것이 아니라 묻는 질문이 다르다. 그러니 이 데이터셋을 검색 인덱스에 넣으려는 사람과 학습 말뭉치를 감사하려는 사람은 서로 다른 수를 집어야 한다.

1.1FineWeb은 중복을 일부러 남긴다

여기서 데이터 품질 쪽에 가장 날카로운 사실이 나온다. FineWeb이 덤프를 가로지르는 중복을 남기는 것은 깜빡해서가 아니다. 코퍼스 단위로 지운 데이터로 학습시킨 모델이 덤프 단위로만 지운 데이터로 학습시킨 모델보다 성능이 나빴다는 것이 그 선택의 근거다. 논문 저자들도 그 판단을 합리적이라고 인정한다. 반복이 곧 가중치라는 말의 실물이 여기 있다. 무엇이 반복되는지 아무도 세어 보지 않은 채, 반복을 남기는 쪽이 더 나은 전처리라는 판단만 표준으로 굳었다.

덧붙이면, 건수가 둘로 갈리는 이 논쟁 자체가 중복 제거를 시도한 소수의 데이터셋에서만 생긴다. 논문이 나란히 놓은 기존 뉴스 말뭉치 비교표에서 GDELT도 CC-News도 중복 제거 칸이 '아니오'다. 두 개의 수를 가진 데이터셋이 오히려 중복을 한 번 집계해 본 쪽이다.

같은 비교표에 라이선스 열도 있다. 이 데이터셋은 ODC-By로 열려 있고, GDELT는 제한 없음, CC-News는 커먼크롤 이용약관, 미디어클라우드는 API, 이벤트레지스트리는 상업 라이선스다. 논문이 자기 기여로 내건 세 가지가 넓은 국가 커버리지와 영향력이라는 초점, 그리고 바로 이 느슨한 라이선스다. 남이 같은 계산을 다시 해 볼 수 있는 조건까지가 기여 항목이다.

39%에서 93%는 이 논문에서 가장 많이 퍼질 수치다. 그런데 수치가 옮겨 다니는 동안 가장 먼저 떨어져 나가는 것이 분모다. 93%의 분모는 웹 전체가 아니라 국영매체 페이지다. 영어 웹 크롤에 들어온 국영·공영매체 글을 모아 놓고, 그 안에서 편집 통제를 받는 매체가 차지하는 몫을 센 값이다.

분모가 웹 전체인 선은 따로 있고, 그 선은 반대로 움직인다. 전체 웹 페이지 가운데 국영매체가 차지하는 몫은 2013년 0.36%에서 2025년 0.19%로 내려갔다. 2017년 초의 0.6% 언저리가 정점이었고 그 뒤로는 계속 내려가는 쪽이다. 논문은 이 내림세의 까닭도 둘로 꼽는다. 웹 전체 콘텐츠가 그냥 많아져 분모가 불었고, 뉴스 발행사가 크롤러에서 빠져나갔다. 빠져나간 쪽이 주로 독립 매체였다는 것은 조금 뒤에서 다시 확인된다. 곧 두 선을 반대 방향으로 움직인 힘이 하나다. 그러니 "국영매체가 AI 학습 데이터에 점점 많이 깔렸다"는 요약은 이 그림에서 나올 수 없다. 논문이 그린 Figure 1에는 선이 둘이 아니라 셋이고, 셋 가운데 하나만 올라간다.

2.1역전은 2016년, 급등은 2024년

위 칸의 곡선은 열두 해에 걸쳐 고르게 올라가지 않는다. 세 토막으로 끊긴다. 2016년 가을 덤프에서 두 선이 한 번에 뒤집혔다. 직전 덤프까지 독립 매체가 66.7%였는데 그 덤프에서 39.7%로 떨어지고 통제 매체가 59.8%로 올라선다. 그 뒤로는 일곱 해 동안 느리게 올라 2023년 말에 69.8%에 닿는다. 그리고 2024년 첫 덤프에서 80.9%로 한 번에 11.1%포인트가 뛴다. 거기서부터 1년 반 만에 93.1%까지 간다.

두 꺾임의 원인을 논문은 유보하지 않는다. 본문이 직접 적는다. 2016년의 꺾임은 통제 매체 페이지가 두 배 넘게 늘어서 생겼고, 독립 매체는 그동안 제자리였다. 2024년의 꺾임은 그 반대다.

"The 2024 shift, meanwhile, is caused by publishers opting out of web crawlers, as Ind pages fall several-fold while Cnt pages change far less."

2024년의 꺾임은 발행사가 웹 크롤러를 막고 빠져나가서 생겼으며, 독립 매체 페이지가 여러 배로 줄어드는 동안 통제 매체 페이지는 훨씬 덜 변했다는 뜻이다. 곧 93%는 통제 매체가 밀고 들어와서 생긴 수가 아니라, 옆자리가 비어서 생긴 수다. 덧셈이 아니라 뺄셈이다.

그 뺄셈의 크기는 부록 표의 원자료로 환산해 볼 수 있다. 덤프별 전체 페이지 수에 국영매체 비중과 구성비를 곱하면 절대 페이지 수가 나온다.

이 표의 값은 논문이 적은 숫자가 아니라 본 리포트가 부록 표의 원자료로 환산한 것이다. 급등이 시작된 덤프에서 마지막 덤프까지, 독립 매체 페이지는 넷에 하나만 남았고 통제 매체 페이지는 18% 감소에 그쳤다. 본문이 "여러 배"라고만 적은 자리의 실제 크기가 이쯤이다. 두 쪽이 다 줄었다는 것도 같이 읽어야 한다. 통제 매체가 늘어난 것이 아니라, 둘 다 줄되 한쪽이 훨씬 빨리 줄었다.

2.2바깥에서 시기가 맞물린다

발행사가 크롤러를 막고 있다는 사실 자체는 논문 바깥에서도 센다. 뉴스 발행사의 robots.txt를 하루 두 번 자동으로 수집하는 공개 추적 사업 homepages.news를 2026년 10월 17일에 조회하면, 추적 대상 1,157곳 가운데 547곳이 CCBot을 막고 있다. 47.3%다. 같은 시점 GPTBot 차단은 46.4%, Google-Extended 차단은 41.7%로, 셋 가운데 가장 많이 막히는 크롤러가 CCBot이다. CCBot은 커먼크롤의 크롤러이고, FineWeb과 FineWeb-2가 실제로 쓰는 바로 그 크롤러다.

이 수치는 논문과 무관하게 수집된 제3자 자료이고, 인과를 증명하지 않는다. 어느 매체가 언제 robots.txt를 바꿨는지를 논문도 이 글도 매체 단위로 대조하지 않았다. 말할 수 있는 것은 시기가 맞물린다는 정황까지다. 차단이 발행사에 무엇을 돌려주었는지는 페블러스가 크롤러를 막아도 인용은 줄지 않았다에서 따로 살폈다. 거기서는 차단한 발행사가 방문자를 잃고도 AI 답변 속 인용은 그대로 유지됐다. 이 글은 그 선택이 말뭉치의 구성에 남긴 흔적을 본다.

논문의 한계 절에도 같은 방향을 가리키는 문장이 있다. 페이지 수는 매체의 생산량이나 도달 범위만이 아니라 접근 가능성과 크롤 정책을 반영한다는 것이다. 곧 이 데이터셋이 센 것은 누가 많이 썼는가가 아니라 누구 글이 긁히도록 열려 있었는가에 더 가깝다. 같은 절은 그래서 인도처럼 국영매체가 주로 라디오와 TV인 나라가 과소 대표되거나 아예 빠진다고도 적는다.

분모에 대해서도 논문은 균형추를 남겨 두었다. 한계를 적은 절에서 저자들은 더 적절한 분모가 뉴스 콘텐츠만이어야 하는데 그 계산은 하지 않았다고 쓴다. 웹 전체를 분모로 삼으면 국영매체의 몫은 당연히 작아 보이고, 뉴스만을 분모로 삼으면 달라질 수 있다. 이 글이 0.19%라는 수를 "그러니 걱정할 것 없다"로 읽지 않는 이유가 그것이다. 같은 축으로 재지 않은 값끼리는 어느 쪽으로도 안심할 수 없다.

지금까지 통제와 독립을 계속 갈라 적은 데에는 이유가 있다. 한국어 "국영매체"라는 한 낱말이 이 둘을 한 자루에 넣어 버리기 때문이다. 논문이 쓰는 라벨은 State Media Monitor라는 외부 데이터베이스에서 온다. 이곳은 매체 회사마다 재원과 소유·지배구조, 그리고 편집 통제를 살펴 통제가 강한 쪽부터 약한 쪽까지 일곱 단계 중 하나를 매긴다.

일곱 단계는 차례로 국가 통제, 포획된 공영, 포획된 민영, 국가 재원·운영 독립, 국가 재원 독립, 국가 운영 독립, 독립 공영이다. 논문은 분석을 위해 앞의 셋을 '통제'로, 뒤의 넷을 '독립'으로 접었다. 공개된 데이터셋에는 일곱 단계가 그대로 들어 있으니 다시 펼쳐 볼 수는 있다. 다만 논문 본문의 모든 수치는 접힌 상태로 계산된 값이다.

논문이 실례로 보인 매체 표를 보면 이 접기가 무엇을 한 자리에 모았는지가 분명해진다. 중국 신화사와 카타르 알자지라, 러시아 공영TV(OTR), 케냐 국영통신(KNA), 미국 USAGM이 모두 첫째 단계인 국가 통제다. 프랑스 메디아 몽드(RFI·France24)는 다섯째 단계인 국가 재원 독립이고, 한국 연합뉴스는 일곱 단계 가운데 가장 독립적인 쪽인 독립 공영이다. 국가별 표에서도 호주·영국·캐나다·아일랜드는 통제 비율 0%이고, 러시아·중국·카타르·싱가포르·베트남은 100%다.

그래서 "국영매체가 AI 학습 데이터의 몇 %"라는 문장은 그 자체로는 아무 말도 하지 않는다. BBC와 신화사를 같은 칸에 넣은 수이기 때문이다. 이 글이 매번 통제와 독립을 갈라 적는 이유가 그것이고, 2절의 그래프에서 두 선을 따로 그려야 했던 이유도 같다.

3.1분류 체계에 라벨이 없는 칸

둘로 접은 칸 말고 셋째 칸이 하나 더 있다. 국가별 표와 언어별 표의 캡션이 같은 문장을 달고 있다. 일부 매체가 분류 라벨을 받지 못해 백분율의 합이 100이 되지 않을 수 있다는 것이다. 가장 큰 사례가 캄보디아다. 영어 기준으로 캄보디아는 109만 페이지로 16위인데, 통제 9.6%에 독립 0.0%이고 나머지 90.4%포인트에는 라벨이 없다. 이 행을 "캄보디아 국영매체의 90%가 독립"으로 읽으면 완전히 틀린다. 캄보디아 영어 페이지를 대부분 생산하는 매체가 아직 라벨을 받지 못했다는 뜻이다.

UAE 영어가 2.1%포인트, 튀르키예 다국어가 6.5%포인트, 스페인 다국어가 7%포인트, 폴란드 영어가 21.9%포인트로 정도는 작지만 같은 현상이다. 반대로 호주·영국·캐나다·러시아·중국처럼 라벨이 빈틈없이 채워진 나라도 많다. 분류 체계가 있다는 것과 그 체계가 데이터를 다 덮는다는 것은 다른 말이고, 커버리지가 낮으면 비율은 조용히 왜곡된다.

3.2영어 말뭉치에서 가장 큰 통제 덩어리

영어 기준 1위 국가는 미국이다. 1,570만 페이지로 2위 러시아(826만)의 두 배 가까이 된다. 그런데 미국 행의 구성비가 독립 41.7%에 통제 58.3%다. 100% 독립도 100% 통제도 아닌 이 행에 논문은 각주를 달아 두었다. 미국 글로벌미디어처(USAGM)가 2025년에 독립에서 통제로 재분류됐고, 2024년 이전 기준이었다면 미국은 100% 독립이었을 것이라는 설명이다. USAGM은 미국의 소리(VOA), 자유유럽방송·자유라디오(RFE/RL), 자유아시아방송(RFA), 쿠바방송국을 거느린다.

각주의 그 한 줄은 미국 행의 통제 58.3%가 전부 USAGM 한 곳이라는 뜻이다. 환산하면 약 915만 페이지이고, 영어 데이터셋 전체(7,959만 행)의 약 11.5%에 해당한다. 영어 LLM 말뭉치 안에서 '편집 통제' 라벨이 붙은 가장 큰 단일 덩어리는 러시아도 중국도 아니라 미국 USAGM이고, 그렇게 된 것은 2025년에 라벨 하나가 바뀌었기 때문이다. 이 915만은 논문에 적혀 있지 않다. 본 리포트가 국가별 표와 그 각주로 환산한 값이다. 이 글은 그 재분류가 옳았는지를 판정하지 않는다. 라벨이 바뀐 사건으로만 다룬다.

여기에 논문 자신이 붙인 범위 한정을 같이 적어 둔다. 국영매체는 어느 나라에서든 그 나라 미디어 지형의 한 조각일 뿐이고, 미국처럼 주류 매체가 대체로 민영인 나라에서는 특히 그렇다고 한계 절이 쓴다. 그러니 이 표가 센 것은 미국 언론이 아니라 미국 정부가 재원을 대는 매체가 영어 웹 크롤에 남긴 흔적이다. 영어 말뭉치의 최대 통제 덩어리라는 문장은 그 범위 안에서만 참이다.

그렇다면 93%도 그 라벨 하나가 만든 것 아니냐는 물음이 바로 따라온다. 논문은 그 물음을 두 군데에서 닫는다. 한계를 적은 절의 문장은 이렇다.

"Fixed labels mean that temporal trends reflect changes in page counts rather than re-classification, but they describe each outlet's status as of 2025."

2025년 판 라벨을 모든 연도에 똑같이 박았으므로, 시간에 따른 변화는 재분류가 아니라 페이지 수의 변화를 반영한다는 뜻이다. 라벨이 전 기간에 고정돼 있으면 재분류는 곡선 전체의 높이를 올릴 뿐 기울기를 만들지 못한다. 그 높이를 논문은 수치로 가둬 둔다. 2022년 판 분류로 전 기간을 다시 돌리면 33%에서 82%가 나온다는 각주다. 곧 USAGM 재분류가 바꾼 것은 끝점을 82%에서 93%로, 시작점을 33%에서 39%로 민 정도다. 어느 분류판으로 재든 오십 %포인트 안팎의 상승이 똑같이 나오고, 재분류는 그 상승을 만들지 못한다.

다만 라벨 쪽에 닫히지 않은 구멍이 하나 더 있다. 그 구멍도 같은 한계 절에 들어 있다. 저자들이 쓴 URL 목록은 지금의 도메인을 반영하므로, 그동안 주소를 바꾼 매체는 이전 덤프에서 과소 대표될 수 있다. 라벨은 전 기간에 박혀 기울기를 만들지 못하지만 도메인은 박혀 있지 않고, 이쪽은 2022년 판 같은 대조 값으로 가둬 두지 않았다. 각주에는 할 일도 적혀 있다. State Media Monitor 사이트가 매체마다 직전 세 해의 분류를 함께 싣고 있고, 저자들은 후속 연구에서 운영진에게 전체 시계열을 받아 옛 덤프에 옛 라벨을 입히겠다고 쓴다. 33%에서 82%라는 값은 그 세 해치로 지금 할 수 있는 데까지 가 본 결과다.

2절과 3절은 영어 웹 이야기였다. 다국어 쪽으로 넘어가면 비중의 자릿수가 달라진다. 영어에서 국영매체는 전체 페이지의 0.2% 언저리였는데, 몇몇 언어에서는 그 언어 웹 전체의 5%에서 18%를 국영매체가 댄다. 논문은 이 대목을 "그런 언어 여럿에서 한 나라 혹은 몇 나라의 매체가 그 언어 웹의 5~18%를 공급한다"고 적는다. 여기서 세는 것은 통제 여부가 아니라 쏠림이다. 그 언어로 글을 대량으로 내보내는 곳이 몇 군데뿐이라는 사실 자체를 센 값이다.

상위 목록을 그대로 놓고 보면 쏠림과 통제가 서로 다른 축이라는 것이 바로 보인다. 아래 표의 가운데 열은 그 언어 웹에서 국영매체가 차지하는 몫이고, 오른쪽 열은 그 국영매체 안에서 편집 통제 매체가 차지하는 몫이다. 두 열의 분모가 다르다.

같은 목록 안에 위구르어 17.8%와 노르웨이 뉘노르스크 7.7%가 함께 있는데, 한쪽은 국영매체의 58.5%가 통제 라벨이고 다른 쪽은 0.0%다. 뉘노르스크와 마오리어와 스코틀랜드 게일어는 셋 다 통제 비율이 0이다. 세 언어 모두 그 언어로 꾸준히 대량 발행하는 가장 큰 곳이 공영방송이기 때문이다. 노르웨이 NRK, 뉴질랜드 마오리 텔레비전, 스코틀랜드 BBC 알바가 그 자리에 있다. 그러니 "저자원 언어 웹의 몇 %가 국영매체"라는 문장을 곧바로 "프로파간다로 차 있다"로 옮기면 그 문장은 세 언어에서 즉시 거짓이 된다.

두 열을 곱해야 나오는 값도 따로 있다. 위구르어 웹 전체에서 통제 매체가 차지하는 몫은 17.8%가 아니라 둘을 곱한 10.4% 언저리다. 17.8%와 58.5%는 분모가 서로 달라 그대로 나란히 놓으면 안 되는 수다.

표에 오르지 못한 쪽도 같이 봐야 한다. 러시아어와 중국어 웹에는 국영매체 페이지가 아주 많지만 그 언어의 웹 자체가 워낙 커서 몫은 1.0%와 0.2%로 희석된다. 반대로 아랍어는 5.3%, 튀르키예어는 3.4%로 고자원 언어인데도 몫이 눈에 띄고 대부분 통제 라벨이다. 페이지가 많다는 것과 몫이 크다는 것이 여기서 또 한 번 다른 축이 된다. 위구르어가 목록 맨 위에 오른 데에는 그 언어의 웹이 16만 6천 페이지로 작다는 사정도 함께 들어 있다.

나라 단위로 보면 같은 쏠림이 다른 모양으로 나온다. 다국어 쪽 상위 국가는 두 무리로 갈린다. 러시아·튀르키예·헝가리·베트남·세르비아·벨라루스는 대부분 통제 쪽이고, 독일·폴란드·프랑스·스웨덴·스위스·노르웨이·핀란드는 대부분 독립 쪽이다. 논문이 인구 대비 이상치로 따로 꼽은 곳은 둘이다. 세르비아는 660만 인구에 99만 1천 페이지로 10위, 벨라루스는 900만 인구에 85만 2천 페이지로 12위다. 인구가 적은 나라가 자국어 웹에 이만큼을 채워 넣으면, 그 언어로 묻는 시스템이 길어 올릴 수 있는 글의 구성은 사실상 그 한 곳이 정한다.

4.1통제 비율보다 먼저 봐야 하는 것은 미분류 비율이다

3.1절에서 본 셋째 칸이 작은 언어에서 더 크게 벌어진다. 벨라루스어는 독립이 1.6%, 통제가 59.9%이고 나머지 38.5%포인트에 라벨이 없다. 카자흐어는 32%포인트가 비어 있다. 라트비아어는 국영매체 페이지의 라벨이 사실상 전부 비어 있어 독립도 통제도 0.0%로 적힌다. 이런 행에서 통제 비율만 떼어 인용하면, 분류되지 않은 몫이 어느 쪽으로 갔을지를 독자가 알 수 없는 채로 수치만 남는다.

관측 창에도 단서가 하나 있다. 1절에서 본 대로 다국어 데이터는 2024년 중반에서 끊긴다. 2절에서 본 급등은 바로 그 뒤 1년 반에 일어났다. 곧 이 표의 언어별 수치에는 영어에서 가장 크게 움직인 구간이 들어 있지 않다. 지금 다시 세면 같은 값이 나오지 않을 가능성이 있고, 어느 쪽으로 움직였을지는 이 데이터로 말할 수 없다.

4.2한국어 행의 통제 42.6%는 한국 매체에서 오지 않는다

한국 독자가 자기 자리를 찾아볼 수 있는 행이 세 군데 있다. 매체 표에는 연합뉴스가 일곱 단계 가운데 가장 독립적인 쪽인 독립 공영으로 올라 있다. 국가별 표에서 대한민국은 영어와 다국어 양쪽 모두 47위이고, 통제 비율은 양쪽 다 0%다. 영어 페이지 수는 9만 200건으로, 90위인 북한의 1만 700건보다 여덟 배 남짓 많다.

그런데 언어별 표로 넘어가면 그림이 달라진다. 한국어 웹은 전체 6,090만 페이지 가운데 국영매체가 0.1%로 비중 자체는 아주 낮은데, 그 0.1% 안에서 독립이 57.4%, 통제가 42.6%다. 한국 매체는 양쪽 표 모두 통제 0%인데 한국어 쪽 통제 비율이 42.6%라는 것은, 그 몫이 한국 바깥에서 한국어로 내보내는 매체에서 온다는 뜻이다. 다만 어느 매체가 그 42.6%를 채우는지는 논문이 분해하지 않았다. 북한으로 단정할 수 없고, 중국이나 러시아의 한국어 서비스도 후보로 남는다. 국가 표는 매체의 국적으로, 언어 표는 페이지의 언어로 센 값이라 두 표를 직접 곱해 맞출 수도 없다.

여기까지가 말뭉치를 세는 이야기였다. 논문은 그 위에 검색을 물린다. 영토 분쟁에 대한 질문을 모아 둔 공개 벤치마크를 가져와, 분쟁 지역 251곳에 대한 질의 720개를 네 모델에 던지고 검색 설정만 바꿔 가며 답이 어떻게 움직이는지를 잰다. 모델은 GPT-4o와 GPT-4o mini, Command-R 35B, Llama 3.1 8B 넷이다. 이 넷은 이번 연구가 고른 것이 아니라 선행 연구의 설정을 그대로 가져온 것이다. 비교 가능성 때문이라고 논문이 밝히고, 더 최근 모델과 검색 시스템으로 다시 돌려 결과가 유지되는지 확인하는 일은 후속 과제로 남긴다고 한계 절에 덧붙인다. 아래 표의 값을 지금 쓰는 모델의 성적으로 읽으면 안 되는 까닭이 그것이다.

검색 설정은 두 축으로 갈린다. 하나는 어느 문서 더미에서 뽑을지다. 질의 단위는 질문을 던진 그 언어와 묶인 나라의 매체에서만 뽑고, 토픽 단위는 그 분쟁을 주장하는 모든 나라의 매체를 한데 모아 놓고 뽑는다. 다른 하나는 무엇을 뽑을지다. 위키백과, 외국을 겨냥해 영어로 쓴 국영매체 기사, 자국 독자를 겨냥해 해당 언어로 쓴 국영매체 기사 셋이다. 검색을 아예 걸지 않은 기준선도 함께 잰다.

외국 겨냥과 자국 겨냥을 언어로 가르는 이 구분은 논문이 4절에서 먼저 세워 둔 것이다. 같은 나라의 영어 순위와 다국어 순위를 나란히 놓으면 겨냥이 드러난다. 러시아는 영어 2위에 다국어 1위, 중국은 영어 10위에 다국어 20위로 양쪽을 함께 본다. 튀르키예는 영어 11위인데 다국어 2위, 독일은 영어 17위인데 다국어 3위, 헝가리는 영어 25위인데 다국어 7위로 자국 쪽에 기운다. 카타르와 UAE는 인구를 생각하면 양쪽 다 높다. 다만 논문은 이 비교에 단서를 단다. 두 순위의 차이가 겨냥이 아니라 FineWeb과 FineWeb-2의 크롤 커버리지와 필터가 다른 데서 왔을 수도 있다는 것이다. 각주 하나가 더 붙는다. 영어권 나라의 영어 기사는 외국 겨냥이 아니라 자국 겨냥 쪽으로 들어간다.

이 설정이 4절과 이어진다는 점을 논문이 직접 적어 둔다. 질의 단위 검색은 한 나라의 매체가 그 언어의 출처를 독차지한 상태를 흉내 낸 것이고, 4절에서 센 몇몇 언어가 실제로 그 상태에 있다는 설명이다. 곧 4절은 그 상태가 웹에 존재한다는 관측이고, 5절은 그 상태에서 모델이 어떻게 답하는지를 재 본 실험이다. 두 절은 같은 이야기의 두 장면이다.

5.1한 나라 매체만 물렸을 때

지정학 편향을 재는 지표는 분쟁에서 우세한 쪽 나라의 언어로 받은 답이 다른 언어로 받은 답보다 그 나라 주장에 얼마나 더 가까운지를 백분율로 나타낸다. 낮을수록 좋고, 100을 넘으면 그 언어의 답이 나머지 언어 평균의 두 배 이상 기운다는 뜻이다. 부록의 식을 펴 보면 한 겹이 더 있다. 이 지표가 직접 재는 것은 주장과의 거리가 아니라 위키백과 지식베이스와의 일치도다. 실효 지배국의 언어로 받은 답이 그 지식베이스와 맞은 비율을, 다른 청구국 언어로 받은 답들이 맞은 평균 비율로 나눠 상대 차이를 낸다. 분쟁 지역에서 지식베이스의 답이 대개 실효 지배국 쪽이라 결과적으로는 쏠림을 재는 셈이지만, 분모가 위키백과라는 사실은 적어 두어야 한다. 바로 다음 절에서 사실성을 재는 자도 같은 위키백과이기 때문이다. 아래 표는 외국을 겨냥한 영어 국영매체를 검색에 넣었을 때의 값이다.

표 안의 값은 논문 그림의 막대 위에 적힌 수치를 읽은 것이라 소수 한 자리까지가 한계다. 두 번째 열을 보면 Llama와 Command-R에서 편향 지표가 기준선의 네 배 가까이 튀어 100을 넘는다. 그런데 100을 넘긴 것은 네 모델 가운데 둘이다. GPT-4o mini는 64.3에 그치고 GPT-4o는 25.3이다. 그러므로 "국영매체를 검색에 넣으면 답이 기운다"는 전칭은 이 표에서 나오지 않는다. 정확한 서술은 "외국을 겨냥한 영어 기사를 질의 언어 단위로 넣었을 때 가장 크게 기울고, 그 폭은 모델에 따라 네 배까지 벌어진다"다.

한 가지 함정이 표 안에 있다. Llama의 검색 없음 값과 GPT-4o의 질의 단위 값이 둘 다 25.3이다. 같은 수이지만 전혀 다른 칸이다. 한쪽은 아무것도 검색하지 않은 작은 모델의 기본 편향이고, 다른 쪽은 국영매체를 물린 큰 모델의 결과값이다. 이 수를 인용할 때는 조건을 반드시 붙여야 한다.

5.2섞으면 쏠림은 줄고 사실성도 준다

세 번째 열이 답처럼 보인다. 여러 청구국의 매체를 한데 모아 놓고 뽑는 토픽 단위로 바꾸면 편향 지표가 기준선 아래까지 내려간다. 이것은 특정 모델의 사정이 아니다. 네 모델과 세 출처를 짝지은 열두 쌍 전부에서 토픽 단위가 질의 단위보다 교차언어 일관성이 높고 편향이 낮다. 예외가 없다.

그런데 같은 설정에서 사실성이 가장 낮다. 논문은 그 대목을 한 문장으로 적는다.

"This robustness does not extend to factuality, however, as topic-level retrieval also has the lowest KB_CS."

사실성은 영어 응답이 위키백과 지식베이스와 얼마나 맞는지로 잰다. 검색을 걸지 않은 기준선과 견주면 열여섯 칸 가운데 여덟 칸이 내려가는데, 내려간 여덟 칸이 전부 토픽 단위다. 질의 단위 여섯 칸은 거의 변화가 없고, 올라간 두 칸은 GPT-4o의 질의 단위뿐이다. 낙폭이 가장 큰 곳은 Llama로, 자국 겨냥 매체를 토픽 단위로 물렸을 때 69.6에서 57.8로 떨어진다.

반대로 같은 설정에서 위키백과를 물리면 사실성은 거의 언제나 올라간다. 여덟 칸 가운데 일곱 칸이 올랐고 나머지 한 칸은 사실상 제자리다.

논문은 그 대비를 성적이 아니라 설계로 설명한다. 위키백과는 문서마다 저자가 달라도 같은 편집 기준과 중립성 정책 아래 있으므로 사실상 하나의 출처로 봐야 하고, 국영매체는 이해가 갈리는 여러 주체가 쓴 글이라 처음부터 여러 출처다. 사실성이 내려가는 까닭도 거기서 찾는다. 서로 다른 의견과 근거가 한꺼번에 들어오면 모델의 첫 답이 지식베이스 쪽에서 밀려난다는 것이다. 논문이 여기서 끌어내는 결론은 검색 설정을 위키백과만으로 평가해 온 관행의 한계다. 단일 출처 위에서 잰 점수는 여러 출처를 물린 자리에서 그대로 재현되지 않는다.

그러니 이 실험에서 읽어야 할 것은 "국영매체를 걸러내라"가 아니다. 출처를 섞는 조치와 정확도를 지키는 조치는 서로 다른 조치이고, 하나를 했다고 다른 하나가 따라오지 않는다는 것이다. 둘을 따로 재지 않으면, 쏠림 지표가 좋아지는 동안 사실성이 내려가도 지표상으로는 아무 일도 없다.

5.3크림 사례가 보여 주는 것은 쉰 배의 비대칭이다

논문은 러시아와 우크라이나의 국영매체를 영어와 각자의 언어로 나누어 견주는 사례 연구를 따로 둔다. 사람들이 가장 많이 가져다 쓸 대목은 같은 사건을 두고 두 매체가 쓴 문장일 것이다. 러시아 통제 매체는 크림반도가 러시아에 "다시 합류했다"고 적고, 우크라이나 통제 매체는 러시아가 우크라이나의 크림반도를 "병합했다"고 적는다. 이 글은 어느 쪽이 참인지 판정하지 않는다. 논문도 자기 작업이 매체의 진위를 판정하려는 것이 아니라고 적는다.

데이터 쪽에서는 그 아래 숫자가 더 무겁다. 이 사례에서 영어 기사는 러시아 쪽이 21만 5,984건, 우크라이나 쪽이 4,066건이다. 쉰 배가 넘는다. 각자의 언어로 쓴 기사는 3만 1,000건 대 1만 7,951건으로 거의 같은 자릿수인데, 영어로 넘어오면 비대칭이 쉰 배로 벌어진다. 그 결과가 토픽 수에도 그대로 나타난다. 영어 토픽 1,476개 가운데 1,100개 이상이 러시아 쪽 서술만 담고 있는 반면, 각자의 언어로 쓴 토픽 247개 중에서는 236개가 양쪽 서술을 함께 담는다. 영어 쪽에서 양쪽이 각각 열 건 이상 사실을 낸 토픽은 2022년 2월 이전 92개, 그 이후 55개다. 두 구간의 길이가 달라 비율로 읽으면 안 되고, 겹치는 자리가 애초에 이만큼 좁다는 뜻으로만 읽어야 한다.

곧 영어 공간에서 한쪽 이야기만 검색되는 데에는 영어로 수집할 글이 한쪽에만 쉰 배 많다는 사정이 먼저 깔려 있다. 5.1절에서 외국 겨냥 영어 기사가 가장 크게 기울게 만든 배경이 이것이다.

다만 논문은 그 자리에서 원인을 하나로 몰지 않는다. 외국을 겨냥해 영어로 쓴 글 자체가 더 날이 서 있을 수도 있고, 검색을 붙인 시스템이 영어로 들어온 관점을 더 쉽게 받아 적을 수도 있다는 것이다. 둘 가운데 어느 쪽이 얼마나 센지는 재지 않았고 후속 과제로 남겼다고 본문이 못 박는다. 그러니 쏠림의 원인을 자료 쪽에만 돌리면 읽기가 한쪽으로 기운다. 자료가 기울어 있다는 사실과 시스템이 그 기울기를 키운다는 사실은 이 실험에서 아직 분리되지 않았다.

비대칭을 만드는 매체가 몇 곳인지는 논문 부록이 매체 단위로 집계해 두었다. 러시아 쪽 영어 기사 21만 5,984건 가운데 RT가 10만 5,579건으로 절반에 가깝고, 타스 5만 191건과 스푸트니크 4만 3,491건을 더하면 세 곳이 92%를 채운다. 우크라이나 쪽은 더하다. 영어 기사 4,066건 중 4,049건이 우크린폼 한 곳에서 나온다. 99.6%다. 반대로 각자의 언어로 쓴 기사는 양쪽 모두 여러 매체로 흩어진다. 영어 공간의 쏠림은 나라 사이의 비대칭이기도 하지만, 그보다 앞에 매체 한 곳의 발행량이 있다.

이 논문이 센 것을 한 줄로 줄이면 이렇다. 말뭉치에 남은 글은 발행된 글이 아니라 아무도 울타리를 치지 않은 글이다. 2절에서 본 뺄셈이 바로 그 문장의 증거다. 값싸고 제한 없이 긁히는 글일수록 학습에도 검색에도 많이 들어가고, 울타리를 칠 여력이 있는 쪽이 먼저 빠져나간다. 저작권이나 개인정보 쪽에서 묻던 질문과 축이 다르다. 여기서 묻는 것은 누구 글이 남았느냐다.

남으면 어떻게 되는지는 학습 쪽에서도 이미 재 본 사람이 있다. 이 논문이 인접 연구로 가리킨 2026년 연구는 다국어 학습 말뭉치에서 중국이 조율하는 매체를 식별하고, 그 글로 계속학습을 돌리면 모델이 중국 정부에 더 우호적인 쪽으로 움직인다고 보고한다. 이 글이 5절에서 본 것은 검색 단계의 이야기이고, 그 연구는 같은 일이 학습 단계에서도 일어난다는 보고다. 둘을 겹쳐 놓으면 말뭉치의 출처 구성을 세는 일이 왜 품질 문제인지가 분명해진다. 다만 이 사실은 본 논문의 선행 연구 절을 경유해 옮긴 2차 인용이고, 원 논문은 이 글을 쓰는 동안 열어 확인하지 못했다.

공급이 마르는 쪽은 페블러스가 위키백과가 마르면, AI도 마른다에서 다뤘고, 웹에 쌓이는 글의 성격이 바뀌는 쪽은 웹에 넘치는 질문, 사람이 궁금해서 쓴 걸까?와 AI가 쓴 웹페이지, 닷컴에만 열 배로 쌓였다에서 각각 다른 축으로 셌다. 이번에 옮겨 간 자리는 누가 썼는가다.

그리고 이 질문은 남의 데이터셋에만 걸리지 않는다. 논문이 한 일은 도메인에 발행 주체 이름표를 붙이고 그 구성비를 센 것이고, 그 절차는 자기 조직의 검색 인덱스에 그대로 옮길 수 있다. 외부 데이터셋 없이 오늘 셀 수 있는 항목만 추리면 다섯 가지다.

• 도메인에서 발행 주체로 가는 표가 있는가. 논문은 매체 640곳과 자산 1,910개, 도메인 1,183개를 모델로 초안을 만들고 사람이 검증하는 두 단계로 매핑했다. 그렇게 한 까닭은 부록에 따로 있다. 라벨을 대는 데이터베이스조차 매체별 보고서에 링크를 싣기는 하되 일정한 형식이 아니어서, 도메인 열을 기계가 읽을 꼴로 바로 꺼낼 수가 없었다. 열리지 않는 주소는 검색으로 바꿔 넣었다. 상위 몇십 개 도메인만이라도 "이 글은 누가 내보냈나"를 적어 두면 구성비를 셀 수 있다.
• 중복 제거의 축을 선언했는가. 같은 URL의 최신본만 남기는지, 수집할 때마다 별도 문서로 쌓는지를 적어 두지 않으면 1절에서 본 것처럼 같은 인덱스에서 두 배 차이 나는 건수가 동시에 돌아다닌다.
• 언어별로 출처 구성을 따로 보는가. 4절이 보여 준 쏠림은 언어 단위로만 보인다. 전체 평균으로는 멀쩡한 인덱스도 특정 언어에서는 한두 출처가 대부분을 대고 있을 수 있다.
• 같은 질문을 다른 언어로 던져 보았는가. 5절의 교차언어 일관성 지표는 사내 인덱스에도 그대로 옮겨진다. 같은 질문에 언어만 바꿨을 때 다른 문서가 검색되고 답이 달라지는지를 재 보면 된다.
• 이름표가 비어 있는 몫이 얼마인가. 3.1절의 캄보디아 행이 보여 준 자리다. 분류 체계를 세워도 커버리지가 낮으면 비율이 조용히 왜곡된다. 통제 비율보다 미분류 비율을 먼저 보는 습관이 필요하다.

다섯 가지 가운데 새 기술이 드는 항목은 하나도 없다. 축을 먼저 정하기만 하면 된다. 그리고 축이 없을 때 무슨 일이 벌어지는지는 품질 필터 쪽에서 이미 여러 번 확인됐다. 페블러스가 다룬 데이터 오염, 열에 아홉을 걸러도 그대로 남는다와 게시판 댓글로 심은 조작 정보가 AI 학습 데이터 정제를 뚫었다는 의도적으로 심은 소량의 오염을 다뤘고, 이 글은 합법적이고 공개된 대량 수집을 다룬다. 같은 문제는 아니다. 다른 경로로 같은 자리에 닿을 뿐이다. 둘 다 품질 필터가 출처를 보지 않는다는 데서 출발한다.

이 논문에서 페블러스가 가장 오래 들여다본 자리는 93%도 17.8%도 아니라 부록의 중복 표였다. 7,900만 건을 URL 기준으로 다시 지우면 2,100만 건이 남고, 중복본의 59%는 글자 하나 다르지 않다. 그 표는 본문이 아니라 부록에 있다. 그리고 그 표 옆에 더 중요한 문장이 하나 붙어 있다.

7.1반복을 남기라는 판단은 무엇을 세지 않은 채 내려졌나

그 문장은 FineWeb이 덤프를 가로지르는 중복을 일부러 남긴다는 것이다. 지우면 학습 성능이 나빠져서다. 여기서 데이터 품질 쪽 질문이 하나 생긴다. 중복을 남기는 쪽이 성능에 유리하다는 판단은 성능 지표로 내려졌고, 그 판단을 내릴 때 무엇이 반복되는지는 세어 보지 않았다. 세어 보니 영어 쪽에서는 넷 중 셋이 같은 글의 재수록이었다. 그 재수록이 어느 쪽 매체에 더 쏠렸는지는 논문도 분해하지 않았다. 반복이 곧 가중치라면, 무엇에 가중치가 걸렸는지를 아무도 적어 두지 않은 셈이다.

데이터클리닉이 데이터셋에 하는 일이 정확히 이 자리에 있다. 라벨 품질과 분포 편중과 중복을 재는 작업은 성능 지표가 가리지 못하는 칸을 드러내는 일이다. 이 논문은 같은 작업을 출처라는 축에서 했고, 그 축은 지금까지 거의 아무도 세지 않았다. 중복 제거의 축을 선언하지 않은 데이터셋이 왜 위험한지, 같은 건수가 왜 두 배 차이로 동시에 유통될 수 있는지를 보여 주는 교과서적 사례가 여기 있다.

7.2AI-Ready Data는 학습에만 걸리는 말이 아니다

이 논문의 구조에서 눈여겨볼 것은 지표가 옮겨 가는 방식이다. 1절부터 4절까지는 학습 말뭉치를 감사하는 이야기인데, 5절에서 같은 데이터가 검색 인덱스로 자리를 옮긴다. 옮겨 가면서 바뀐 것은 거의 없다. 도메인에 발행 주체 이름표를 붙이고 구성비를 센 다음, 그 구성비가 모델 출력으로 이어지는 경로를 짚는 절차가 양쪽에서 똑같다.

"AI-Ready Data"라는 말이 학습 단계에만 걸린다고 생각하기 쉬운데, 이 논문은 그 말이 RAG 인덱스에도 그대로 걸린다는 것을 남의 데이터로 보여 준다. 사내 RAG를 운영하는 조직이 지금까지 물어 온 것은 주로 문서 최신성과 접근 권한과 청크 크기였다. 거기에 한 줄이 더 붙는다. 출처 구성을 세어 본 적 있는가.

7.3고객에게 전할 경고는 "걸러내라"가 아니다

5.2절의 결과가 실무로 번역될 때 가장 쉽게 왜곡될 자리가 여기다. 출처를 여러 곳으로 섞는 조치는 쏠림을 분명히 줄였다. 열두 쌍 전부에서 줄었다. 그런데 같은 설정에서 사실성이 가장 낮았다. 출처를 늘리는 조치와 정확도를 지키는 조치를 따로 재지 않으면, 한쪽 지표가 좋아지는 동안 다른 쪽이 내려가도 보고서에는 아무 일도 나타나지 않는다. 이건 정책의 문제가 아니라 계측의 문제이고, 계측은 페블러스가 하는 일이다.

이 주제는 "AI가 프로파간다에 오염됐다"는 틀로 쓰기 쉽다. 페블러스가 같은 데이터를 열고 먼저 말하려는 것은 그 반대다. 늘어난 것이 아니라 남은 것이다. 영어 말뭉치의 최대 통제 덩어리가 미국이라는 사실, 쏠림이 큰 언어 가운데 셋은 통제 비율이 0이라는 사실, 캄보디아 행의 90%에 라벨조차 없다는 사실은 자극적인 요약에서 가장 먼저 잘려 나갈 항목이고, 셋 다 이 데이터셋을 실제로 열어 본 사람만 쓸 수 있다. 그래서 이 블로그는 데이터를 여는 쪽에 서서 이 주제를 계속 따라간다.

본문 수치의 출처를 성격별로 나눠 적는다. 1번부터 3번까지는 이 글이 다룬 논문과 그 데이터셋, 그리고 라벨이 온 외부 데이터베이스다. 본문의 수치와 축자 인용은 대부분 여기서 나왔다. 4번부터 6번까지는 이 데이터셋이 추출된 원 말뭉치이고, 7번부터 10번까지는 논문이 선행 연구로 가리킨 자료다. 11번은 2.2절의 바깥 대조군이다. 마지막 묶음은 이 글이 이어 쓰는 페블러스 선행 글이다.

1차 — 논문과 데이터셋

• 1.Bryan Li, Samar Haider, Grace Kim, Fiona Luo, Jinqi Luo, Yuan Yuan, Duncan Watts, René Vidal, Chris Callison-Burch, "The World as Viewed by 136 Countries: An Open, Curated, Annotated, and Multilingual Dataset of 118 Million State Media Articles" (arXiv:2610.24990v1, 2026년 10월 18일). arxiv.org — 이 글의 1차 오라클이다. 39%에서 93%, 0.36%에서 0.19%, 1억 1,800만 건과 5,800만 건, 중복 표본 3,000건과 59%, 일곱 단계 타이폴로지와 접는 규칙, 국가별·언어별 표, USAGM 각주와 2022년 판 소급 각주, 러시아·우크라이나 사례의 기사 수와 토픽 수, RAG 실험의 세 지표가 모두 여기서 나왔다. 2026년 10월 21일 기준 개정판은 없고 v1 하나다.
• 2.WorldStateMedia 데이터셋 컬렉션 (HuggingFace, manestay). huggingface.co — 영어 79,591,422행, 다국어 38,755,459행, 매체 명부 640건이라는 실측 행 수를 여기서 확인했다. 컬렉션 개요 화면에 뜨는 요약 배지는 행 수가 아니어서 이 글은 인용하지 않았다. 매체 명부는 논문 공개보다 다섯 달 앞선 2026년 5월에 이미 올라와 있었다.
• 3.State Media Monitor, 일곱 단계 타이폴로지. statemediamonitor.com — 3절의 라벨이 오는 곳이다. 각 단계의 판정 기준 원문은 이 글을 쓰는 동안 직접 열어 확인하지 못했고, 단계 이름과 "재원·소유·지배구조·편집 통제를 본다"는 범위는 논문 본문의 설명을 옮겼다.

원 말뭉치 — 데이터가 추출된 곳

• 4.Guilherme Penedo 외, FineWeb (v1.4.0, HuggingFace). huggingface.co — 영어 데이터의 출처다. 2013년 중반부터 2025년 중반까지의 커먼크롤 덤프를 담는다.
• 5.Guilherme Penedo 외, FineWeb-2 (v2.1.1, 1,868개 언어·문자 쌍). — 다국어 데이터의 출처다. 관측 창이 2024년 중반에서 끝나 영어보다 한 해 짧다. 4.1절에서 짚은 관측 창 차이가 여기서 나온다.
• 6.FineWeb 팀, 덤프 단위 중복 제거를 택한 근거를 적은 공개 글. huggingface.co — 1.1절의 근거다. 이 글은 원문을 열지 못했고, 논문 각주가 인용한 요약을 경유한 2차 인용이다.

학술 — 논문이 가리킨 선행 연구

• 7.Bryan Li 외, BorderLines (2024) — 5절 실험이 쓰는 벤치마크다. 분쟁 지역 251곳에 대한 질의 720개로 이뤄져 있고, 이 논문은 모델과 검색 설정을 그 후속 연구에서 그대로 가져왔다.
• 8.Shangbin Feng 외, 사전학습 말뭉치의 정치 편향이 다운스트림 과업으로 전파됨을 보인 연구 (2023) — 논문이 인접 연구로 가리킨 자료다. 이 글은 수치 근거로 쓰지 않았다.
• 9.Julia Kreutzer 외, 저자원 언어 웹 데이터의 희소성과 품질 문제를 감사한 연구 (2022) — 4절의 배경이다. 이 글은 수치 근거로 쓰지 않았다.
• 10.Hannah Waight, Eddie Yang, Yin Yuan, Solomon Messing, Margaret E. Roberts, Brandon M. Stewart, Joshua A. Tucker, "State media control influences large language models" (Nature, 2026) — 6절에서 썼다. 다국어 학습 말뭉치에서 중국이 조율하는 매체를 식별하고, 그 콘텐츠로 계속학습하면 모델이 중국 정부에 더 우호적으로 바뀜을 보인 연구다. 이 글이 5절에서 옮긴 검색 단계 결과의 학습 단계 대응물이다. 서지는 본 논문 참고문헌에서 확인했고 원문은 열지 못했다. 본문 서술은 본 논문 선행 연구 절을 경유한 2차 인용이다.

외부 대조 — 논문과 무관하게 수집된 자료

• 11.homepages.news (palewi.re), 뉴스 발행사 robots.txt 추적. homepages.news — 2.2절의 수치다. 2026년 10월 17일 조회 기준 1,157곳 중 CCBot 차단 547곳(47.3%), GPTBot 차단 537곳(46.4%), Google-Extended 차단 483곳(41.7%). 논문과 독립적으로 수집된 제3자 자료이고, 인과가 아니라 시기가 맞물린다는 정황으로만 썼다.

페블러스 블로그 인접 글

• 12.크롤러를 막아도 인용은 줄지 않았다 — 2.2절에서 이어 썼다. 차단이 발행사에 무엇을 돌려주었는지를 다룬 글이다.
• 13.위키백과가 마르면, AI도 마른다 — 6절에서 이어 썼다. 공짜로 긁히는 글의 공급이 마르는 쪽을 봤다.
• 14.웹에 넘치는 질문, 사람이 궁금해서 쓴 걸까? — 6절에서 참조했다. 같은 커먼크롤을 다른 잣대로 집계해 구성비가 뒤집히는 것을 본 글이다.
• 15.AI가 쓴 웹페이지, 닷컴에만 열 배로 쌓였다 — 6절에서 참조했다. 웹에 쌓이는 글을 저작 주체라는 축으로 센 선행 사례다.
• 16.데이터 오염, 열에 아홉을 걸러도 그대로 남는다 — 6절에서 참조했다. 품질 필터가 걸러 주지 않는 것을 다뤘다.
• 17.게시판 댓글로 심은 조작 정보가 AI 학습 데이터 정제를 뚫었다 — 6절에서 참조했다. 의도적으로 심은 소량의 오염을 다룬 글이라 이 글과 같은 문제는 아니고, 다른 경로로 같은 자리에 닿는다.