Executive Summary

먼저 차단이 실제로 어떤 결과를 냈는지 수치부터 세운다. 콘텐츠 마케팅 도구 회사 BuzzStream이 인용 추적 도구 XOFU로 400만 건의 AI 인용과 3,600개 프롬프트를 분석한 결과, AI 크롤러를 막은 사이트도 차단 이후 대부분 그대로 인용됐다. 봇 종류에 따라 인용 유지율이 ChatGPT-User 70.6%, OAI-SearchBot 82.4%, GPTBot 88.2%, Google-Extended 92.3%였다. 차단의 목적이 "AI 답변에서 내 콘텐츠를 빼는 것"이었다면, 그 목적은 거의 달성되지 않았다.

더 반직관적인 대목은 차단 사이트의 인용 점유율이다. 트레이닝봇을 막은 사이트들조차 ChatGPT 인용 원천의 약 95%를 여전히 차지했다. 구체적인 사례도 있다. 여러 봇을 한꺼번에 막은 CNBC.com도 분석 데이터셋 안에서 1,298건 인용을 확보했고, Google-Extended를 막은 Yahoo.com은 약 3만 건의 인용을 유지했다. 문을 잠갔는데도 AI는 안에 있던 내용을 계속 꺼내 쓴 셈이다.

반면 방문자 쪽은 이야기가 다르다. 여기서 이 글이 가장 조심스럽게 다루는 수치가 등장한다. Rutgers 경영대학원의 자오(Junhao Zhao)와 Wharton의 버먼(Ron Berman)이 발행사의 AI 대응을 분석한 논문 초판(v1, 2025-12-31)은, 크롤러를 막은 대형 발행사가 총 트래픽을 월간 기준 23.1% 잃었다고 보고했다(휴먼 트래픽은 −13.9%). 그런데 같은 저자가 v4 개정판(2026-04, SSRN)에서 동일한 방법론을 주간 단위로 재측정하자 그 폭은 약 −7%로 줄었다. 상위 500개 표본으로 넓히면 중간 규모 발행사는 오히려 트래픽이 늘고, 일부 발행사는 손실이 뚜렷해 차단 규칙을 되돌리기까지 했다.

아래 도식은 이 비대칭을 한 화면에 놓은 것이다. 왼쪽은 대형 발행사가 잃은 방문자(두 버전 병기), 오른쪽은 차단 후에도 남은 봇별 인용 유지율이다. 막대의 길이 차이가 이 글의 출발점이다.

그림 1. 차단의 비대칭 — 방문자 손실 대 인용 유지율. 출처: 트래픽은 Zhao & Berman(Rutgers/Wharton, v1 2025-12 / v4 2026-04), 인용 유지율은 BuzzStream×Citation Labs(2026-03, 400만 건 인용·3,600 프롬프트)를 페블러스가 재구성한 원본 도식.

한 가지 단서를 달아 둔다. BuzzStream의 "인용"은 조작적 정의가 엄밀하지 않다 — AI 응답에 표기된 links/sources를 인용으로 셌을 뿐, 표기 방식이나 노출 위치까지 통제하지는 않았다. 그럼에도 네 개 봇에서 방향이 일관되게 나타난 점, 그리고 서로 다른 표본(트래픽 논문과 인용 조사)이 같은 결론을 가리킨다는 점에서 "차단해도 인용은 유지된다"는 명제 자체는 흔들리지 않는다.

앞 절이 무슨 일이 일어났는지를 보여줬다면, 이제 왜 그런지를 물을 차례다. 답은 의외로 하나의 은유로 정리된다. 차단은 학습 데이터의 저수지를 비우는 게 아니라, 앞으로 물을 대는 수도관만 잠근다.

AI 답변 속 인용이 만들어지는 경로는 두 갈래다. 하나는 이미 학습을 마친 모델 파라미터에 굳어 있는 지식이고, 다른 하나는 답변 시점에 참조하는 별도의 검색 인덱스다. robots.txt가 통제하는 것은 오직 데이터를 수집하는 크롤 단계뿐이다. 답변을 생성하는 시점에는 개입하지 못한다. 그래서 지금 크롤러를 막아도, 이미 저수지에 고인 물 — 과거에 학습된 스냅샷과 Common Crawl 아카이브에 담긴 사본 — 은 소급해서 빠지지 않는다. 게다가 이 저수지는 얕지 않다. Mozilla Foundation 분석에 따르면 주요 LLM의 약 64%가 Common Crawl의 필터링 버전을 사전학습에 쓴다. 웹에서 한 번 아카이브된 콘텐츠는 특정 모델 하나가 아니라 생태계 전반이 공유하는 급수원이 되는 셈이라, 내 사이트가 지금 문을 닫아도 그 사본은 여러 모델의 파라미터 안에 이미 흩어져 있다.

이 "이미 고인 물"의 존재는 데이터로도 드러난다. BuzzStream 조사에서 AI가 인용한 콘텐츠의 약 15%는 ChatGPT가 세상에 나오기도 전에 발행된 글이었다. 크롤러를 지금 막든 말든, 모델은 예전에 이미 마셔 둔 물을 계속 길어 올린다. 아래 도식이 그 구조다 — 차단 스위치는 수도관 하나를 잠그지만, 저수지 수위는 그대로다.

그림 2. 저수지와 수도관 개념도. 출처: Longpre et al., "Consent in Crisis"(Data Provenance Initiative, arXiv:2407.14933)와 BuzzStream(2026)의 인용 시점 분석을 바탕으로 페블러스가 구성한 원본 도식.

여기서 학술적 근거를 하나 붙인다. Data Provenance Initiative(Longpre 외)의 "Consent in Crisis" 연구는 웹의 robots.txt 제한이 급증하는 속도를 추적했다. 학습에 가장 중요한 도메인을 기준으로 1년 새 토큰의 25% 이상이 새로 제한됐다. 그런데 이 급증에는 시차와 비대칭이 있다. 제한은 앞으로 수집될 데이터에만 걸리고, 이미 배포된 아카이브(예: WARC 형식으로 널리 퍼진 Common Crawl 스냅샷)에는 소급되지 않는다. 즉 "지금부터 막는다"와 "이미 학습된 것을 뺀다"는 전혀 다른 문제다. 전자는 robots.txt로 가능하지만, 후자는 사실상 불가능하다.

한 가지는 분명히 해 둔다. 이 절은 특정 모델의 검색·인용 파이프라인 내부를 상술하려는 것이 아니다. 확인된 범위는 "인용이 실시간 크롤에 종속되지 않는다"는 관찰까지다. 그 이상의 세부 메커니즘(어떤 모델이 어느 시점에 어떤 인덱스를 참조하는지)은 이 리포트가 확보한 데이터의 범위를 넘어서므로, 여기서는 관찰된 결과만 근거로 삼는다.

지금까지의 질문이 차단이 개별 사이트에 이득인지 손해인지였다면, 여기서는 시야를 한 단계 넓혀 본다. 차단이 균등하게 일어나지 않는다면, 그 자체가 모델이 학습하는 웹의 대표성을 왜곡한다. 문을 잠그는 쪽이 한쪽으로 쏠려 있기 때문이다.

프랑스 ISC-PIF·médialab의 부쇼(Paul Bouchaud)와 라마시오티(Pedro Ramaciotti)가 2023년 이후 상위 100만 개 웹사이트의 크롤러 제한 패턴을 분석한 논문(arXiv:2510.09031)은 세 종류의 격차를 보고한다. 첫째, 규모별로 상위 1,000개 사이트는 약 25%가 차단하지만 상위 100만 개 전체로 넓히면 약 10%로 떨어진다 — 큰 사이트일수록 차단할 여력과 법무 자원이 많다. 둘째, 매체 유형별로 뉴스 매체 전반은 34.2%가 GPTBot을 막는데, 팩트체크 신뢰도가 높은 매체는 약 55%까지 올라간다. 셋째, 그리고 이 논문의 핵심 발견은 정치 성향별 격차다.

중립 성향 매체는 약 58%가 차단한 반면, 우편향 매체는 약 4.1%만 차단했다. 열 배 이상의 격차다. 아래 도식은 세 격차를 나란히 놓은 것으로, 세 축 모두 "고품질·중립·대형일수록 더 많이 막는다"는 같은 방향을 가리킨다.

그림 3. 차단율 격차 3종. 출처: Bouchaud & Ramaciotti, arXiv:2510.09031(2025-10)을 페블러스가 재구성. 규모·매체·정치 성향 세 축 모두 동일 논문 수치.

저자들의 해석은 이렇다. 중립·고팩트체크 매체는 자원과 법무 인식이 앞서 더 적극적으로 차단한다. 그 결과 학습 코퍼스에서 중립 소스의 비중이 상대적으로 줄고, 초당파적(hyperpartisan) 소스의 비중이 상대적으로 커진다. 정치적으로 편향된 용어가 과대표집되는 현상이 실제로 관찰됐고, 저자들은 이를 "학습 데이터 큐레이션에 대한 적극적 개입이 필요하다"는 경고로 맺는다.

이 방향은 독립적으로도 확인된다. 다른 연구팀이 유사한 방법으로 분석한 논문(arXiv:2510.10315, "Is Misinformation More Open?")은 신뢰도가 높은 사이트의 60.0%가 최소 하나의 AI 크롤러를 막는 반면, 허위정보 사이트는 9.1%만 막는다고 보고했다. 신뢰도 높은 사이트는 평균 15.5개의 AI User-Agent를 금지하는데, 허위정보 사이트는 평균 1개 미만이다. 성향 축을 신뢰도 축으로 바꿔도 결론은 같다. 문을 잠그는 쪽은 대체로 검증 가능하고 중립적인 콘텐츠를 만드는 쪽이다.

차단이 인용을 못 막고 오히려 코퍼스를 편향시킨다면, 애초에 robots.txt라는 도구 자체가 얼마나 믿을 만한지 물어야 한다. 결론부터 말하면 이 스위치는 생각보다 지반이 무르다. 법적 구속력도, 표준으로서의 강제력도 없기 때문이다.

robots.txt는 1994년부터 이어진 자발적 규약일 뿐, 지키지 않아도 제재가 없다. 실제로 봇의 robots.txt 미준수율은 2025년 1분기 기준 12.9%로, 직전 기간의 3.3%에서 네 배 가까이 급증했다. "막았다"고 선언해도 상대가 무시하면 그만이라는 뜻이다. Data Provenance Initiative의 "Consent in Crisis" 연구는 여기에 한 겹을 더한다. 사이트의 robots.txt 조항과 이용약관(ToS)이 서로 어긋나는 사례가 다수 발견됐다 — 한쪽에서는 허용하고 다른 쪽에서는 금지하는 식이다. 의사 표시의 창구가 둘로 갈라져 있으니, 크롤러 입장에서는 "이 사이트가 정말 무엇을 원하는지"를 신뢰성 있게 읽어낼 방법이 없다.

그럼에도 사이트 운영자들은 꽤 정교한 의사결정을 시도한다. "검색 노출은 유지하되 AI 학습만 막겠다"는 것이다. 같은 Consent in Crisis 데이터에서, 한 사이트가 어떤 크롤러라도 막았을 때 그 사이트가 각 조직의 크롤러도 함께 막았을 조건부 확률을 보면 이 분리된 의도가 또렷하게 드러난다.

표 1. 조직별 "함께 차단될" 조건부 확률. 출처: Longpre et al., "Consent in Crisis"(Data Provenance Initiative, arXiv:2407.14933, Table 3). 어떤 사이트가 하나라도 크롤러를 막았을 때 각 조직도 함께 막혔을 확률.

맨 위 OpenAI(91.5%)와 맨 아래 Google Search(17.1%)의 간극이 이 표의 핵심이다. 운영자들은 AI 학습용 크롤러는 적극적으로 막으면서도, 검색 인덱싱을 담당하는 Google Search는 거의 열어둔다. "AI가 내 글을 학습해 요약으로 대체하는 것"과 "검색이 내 글로 사람을 데려오는 것"을 명확히 구분해 결정하고 있다는 방증이다. 문제는 이 정교한 구분에 그것을 강제할 수단이 따라붙지 않는다는 점이다. Google이 학습과 검색을 별도 토큰으로 분리해 준 것은 진일보지만, 그 옵션조차 준수는 사업자의 선의에 맡겨져 있다.

그래서 발행사들은 robots.txt 바깥으로 나가기 시작했다. 2026년 상반기, 미국 News/Media Alliance(900여 발행사 대표)가 Common Crawl에 공식 서한을 보냈고, Digital Content Next(AP·NYT·NBC유니버설·블룸버그·NPR 등)는 cease-and-desist를 공개했다. 이들이 내세운 법리는 한 문장으로 압축된다. "저작권은 옵트아웃 체계가 아니다." 사용하려면 사전에 허가를 받아야 하는 것이지, 일단 가져간 뒤 사후에 빼달라고 요청하는 방식이 아니라는 것이다. 이 논리대로라면 robots.txt의 옵트아웃 모델 자체가 발행사의 권리 주장과 어긋난다.

사후 제거가 얼마나 느리고 불완전한지는 유럽 사례가 보여준다. 네덜란드의 저작권 단체 BREIN은 2025년 11월 페이월 콘텐츠 200만 건 이상을 학습 데이터셋에서 제거시켰고, 덴마크의 한 제거 요청은 접수부터 응답까지 약 6개월이 걸린 끝에 대상의 절반가량만 실제로 지워졌다. 이미 배포된 아카이브에서 특정 콘텐츠를 걷어내는 일은 물을 엎지른 뒤 다시 담는 것에 가깝다.

차단이 방어가 아니라면 콘텐츠 소유자가 실제로 쥐어야 할 지렛대는 무엇인가. 이 질문에 답하려면 문제의 본질을 다시 봐야 한다. 발행사가 진짜로 잃고 있는 것은 "학습당하는 것"이 아니라 가치를 가져가면서 트래픽은 돌려주지 않는 비대칭이다. 그리고 이 비대칭은 하나의 지표로 선명하게 측정된다. 바로 크롤 대 리퍼럴 비율이다.

Cloudflare가 자사 네트워크(전체 웹의 약 20%를 경유)에서 측정한 바에 따르면, 크롤러가 페이지를 몇 번 긁어갈 때마다 방문자 한 명을 돌려보내는지가 사업자별로 극단적으로 갈린다. 전통 검색인 Google은 5번 크롤에 방문자 1명(5:1)을 보내지만, OpenAI는 1,700:1, Anthropic은 11,122:1이다. 1만 페이지를 넘게 긁어가고도 방문자는 한 명 돌려보낸다는 뜻이다. 아래 도식은 이 격차를 로그 스케일로 놓은 것으로, 축 자체가 로그가 아니면 Google 막대가 보이지 않을 만큼 차이가 크다.

그림 4. 크롤:리퍼럴 비율 비교(로그 스케일). 출처: Cloudflare Radar(Matthew Prince, 2026 중반 데이터)를 페블러스가 재구성. 2025-07 측정치에서 격차가 더 벌어진 추세이며, 시점이 다른 수치를 절대치로 병기하지 않도록 최신 데이터로 통일.

이 비대칭은 이제 예외가 아니라 기본값이 되고 있다. 2026년 중반, Cloudflare 네트워크에서 자동화된 요청이 HTML 트래픽의 57.5%를 차지하며 사상 처음으로 기계가 사람을 넘어섰다. 그런데 그 AI 크롤 요청 중 실제 인간 방문으로 이어지는 비율은 2.6%에 불과하다. 웹을 읽는 주체는 점점 기계로 바뀌는데, 그 기계는 원천으로 사람을 거의 돌려보내지 않는다. 차단이 이 흐름을 막지 못한다는 것은 앞의 세 절이 이미 보여줬다. 그렇다면 남는 선택지는 "가져간 만큼 정산하게 만드는 것"이다.

정산은 절반만 열렸다

정산 인프라는 이미 상용화 단계에 들어섰다. Cloudflare의 pay-per-crawl은 크롤러가 페이지를 가져갈 때 HTTP 402(Payment Required)와 Ed25519 서명 요청을 통해 페이지당 최소 $0.01를 청구할 수 있게 한다. Time, Condé Nast, The Atlantic, AP, Reddit, Stack Overflow 등이 초기 참여 발행사로 이름을 올렸다. "막느냐 여느냐"의 이분법을 "값을 매겨 연다"는 제3의 선택으로 바꾼 것이다.

그러나 이 정산은 수집(크롤) 단계에만 걸린다. 크롤러가 페이지를 가져가는 그 순간에는 값을 매길 수 있지만, 이미 학습을 마친 모델이 답변을 생성할 때마다 발생하는 추론(inference) 단계의 가치에는 아직 값을 매길 인프라가 없다. 저수지에 물을 채울 때는 계량기를 달 수 있는데, 그 물이 수도꼭지에서 나올 때마다의 정산은 비어 있는 셈이다. 그리고 앞서 봤듯 인용의 상당 부분은 바로 이 "이미 채워진 저수지"에서 나온다. 정산의 진짜 격전지는 수집이 아니라 추론 단계다.

그래서 콘텐츠 소유자가 요구해야 할 것은 더 촘촘한 차단 규칙이 아니라 정산을 가능하게 하는 전제 조건들이다. 첫째, 무엇이 언제 누구에게 쓰였는지 추적할 수 있는 구조화된 라이선스 메타데이터. 둘째, 수집과 추론을 구분해 단계별로 값을 매기는 정산 프로토콜. 셋째, 데이터가 어디서 와서 어떻게 흘렀는지를 검증할 수 있는 계보(lineage)·출처(provenance) 투명성. 이 세 가지가 갖춰져야 "11,122:1"이라는 비대칭을 협상 테이블 위의 숫자로 올릴 수 있다.

이 리포트를 쓴 팀이 이 주제를 오래 들여다본 데는 이유가 있다. 페블러스가 일하는 자리가 정확히 이 글의 결론이 가리키는 지점이기 때문이다. 마지막 절의 처방, 곧 "차단이 아니라 정산, 정산의 전제는 프로비넌스"는 우리가 매일 붙드는 문제와 같은 말이다.

먼저 3절의 발견을 다시 짚고 싶다. 좋은 데이터를 만드는 곳이 더 많이 문을 잠그면 학습 코퍼스의 평균 품질이 내려간다는 이야기는, 개별 사이트의 트래픽 손익을 넘어선 데이터 품질 문제다. 무엇이 모델에 학습되는가가 통제 불가능하게 편향되면, 그 편향은 모델 내부 표현에 그대로 굳는다. 학습 데이터의 출처와 대표성을 관리하는 일이 왜 중요한지를 이 논문들은 데이터로 증명한 셈이다.

그리고 5절이 요구한 세 가지 전제, 곧 구조화된 라이선스 메타데이터와 단계별 정산 프로토콜, 계보·출처 투명성은 모두 "데이터가 어디서 왔고 어떻게 쓰였는지 추적 가능한 상태"로 수렴한다. 페블러스가 'AI-Ready Data'라고 부르는 상태가 바로 그것이고, DataClinic이 하는 품질 스코어링과 계보 관리가 그 상태를 만드는 도구다. 11,122:1 같은 비대칭을 되돌리려면 먼저 "무엇이 언제 누구에게 쓰였는지"가 기록되어야 하고, 그 기록이 곧 프로비넌스다.

이 글은 그 도구를 팔기 위한 글이 아니다. 다만 데이터를 가진 이들이 robots.txt 한 줄로 자신을 지켰다고 믿는 동안, 실제 지렛대는 다른 곳에서 만들어지고 있다는 사실을 데이터로 전하고 싶었다. 차단이 손실이 되는 역설을 넘어서는 길은, 데이터를 잠그는 것이 아니라 정산 가능하게 만드는 쪽에 있다. 이 주제의 다음 국면, 곧 추론 단계 정산 인프라가 어떻게 만들어지는가를 우리는 계속 지켜볼 생각이다.

이 주제와 이어지는 페블러스 리포트: 위키피디아와 AI 커먼즈의 고갈, RSL 콘텐츠 라이선싱, 공개 데이터셋 라이선스 감사 비용, AI 증류와 데이터 주권.

학술 논문

• 1.Bouchaud, P., & Ramaciotti, P. (2025). "Web Crawler Restrictions, AI Training Datasets & Political Biases." arXiv:2510.09031. (ISC-PIF / médialab) — 규모·매체·정치 성향별 차단율 격차 3종의 1차 출처.
• 2.(2025). "Is Misinformation More Open? A Study of robots.txt Gatekeeping on the Web." arXiv:2510.10315. — 고신뢰 60.0% vs 허위정보 9.1% 차단율, 신뢰도 축 교차검증.
• 3.Longpre, S. et al. (2024). "Consent in Crisis: The Rapid Decline of the AI Data Commons." arXiv:2407.14933. (Data Provenance Initiative) — 토큰 제한 급증, robots.txt·ToS 불일치, 조직별 함께-차단 확률(Table 3).
• 4.Zhao, J. (Rutgers), & Berman, R. (Wharton). (2025–2026). "Strategic Response of News Publishers to Generative AI." SSRN. — 대형 발행사 트래픽 손실 v1 −23.1%(월간) → v4 약 −7%(주간). 버전별 수치 상이에 주의.

정책·통계

• 5.Nero, V. (BuzzStream) × Citation Labs. (2026). "Do News Sites That Block AI Bots Still Get Cited?" — 400만 건 인용·3,600 프롬프트(XOFU), 봇별 인용 유지율 70.6~92.3%.
• 6.Reuters Institute. (2026). "Journalism, Media, and Technology Trends and Predictions 2026" (미디어 임원 280명 서베이). Reuters Institute. — AI 검색발 트래픽 감소 배경 추세(차단 효과와 구분).
• 7.Mozilla Foundation. (2024). "Common Crawl and the AI training data ecosystem" (LLM 64%가 Common Crawl 사용). Mozilla Foundation.
• 8.Prince, M. (Cloudflare). (2025–2026). "Introducing pay-per-crawl" & Cloudflare Radar. — 크롤:리퍼럴 비율(Google 5:1 / OpenAI 1,700:1 / Anthropic 11,122:1), pay-per-crawl($0.01/page, HTTP 402, Ed25519).

업계 보도

• 9.ppc.land. "Blocking AI crawlers doesn't stop citations — new data shows why." — 본 리포트의 진입점.
• 10.digitalapplied.com. "Publishers vs Common Crawl: AI Training Data Showdown 2026." — Common Crawl 2026 협상 국면, cease-and-desist 서사.