Executive Summary

이 글을 지탱하는 네 수치

아래 네 수치가 이 글의 뼈대다. 앞의 둘은 규칙 하나가 통계에서 무엇을 덜어내는지, 그리고 같은 규칙이 표본에 따라 얼마나 다른 답을 내놓는지를 보여준다. 뒤의 둘은 표본을 고정해도 시점이 결론을 흔든다는 증거다. 하나는 독립 코퍼스에서, 다른 하나는 사업자 자기 데이터에서 나왔다.

먼저 이 연구가 무엇인지부터 정확히 해 두자. The AI Observatory: A Public Measure of Real-World AI Use는 MIT의 Shayne Longpre, 스탠퍼드의 Anka Reuel, 메릴랜드대의 Dayeon Ki가 공동 제1저자로 이름을 올린 프리프린트다. 참여 기관에는 MIT·스탠퍼드·노스이스턴·존스홉킨스·버클리·카네기멜런·브라운·NYU·워털루·메릴랜드와 EleutherAI·Cohere가 함께 이름을 올렸다. 이들이 한 일은 새 모델을 만든 것도, 새 벤치마크를 낸 것도 아니다. 이미 공개돼 있는 실사용 대화를 한자리에 모아 같은 잣대로 주석한 것이다. 공동 제1저자인 Anka Reuel이 프로젝트의 출발점으로 든 문장은 짧다. 사업자가 내놓는 사용 통계를 두고 "이를 확증해 줄 독립적인 출처가 없다"는 것이다.

모은 것은 일곱 개 소스, 23,158건의 대화와 85,633개의 턴이다. WildChat과 ShareGPT처럼 널리 쓰인 공개 데이터셋이 있고, 공개 공유 링크를 크롤한 Grok 대화가 있고, 브라우저 계측으로 수집된 NIO 데이터가 있다. 여기에 145개 특성으로 이뤄진 단일 분류 체계를 붙였다. 특성은 프롬프트와 응답, 턴, 대화라는 네 수준에 걸쳐 있고, 언어와 매체 형식부터 주제와 민감 사용까지 아홉 계열로 묶인다. 훈련된 저자 열 명이 다섯 라운드의 파일럿을 거쳐 체계를 다듬었고, 실제 주석은 GPT-4.1이 수행했다. 자동 주석이 사람의 판단과 얼마나 맞는지는 따로 쟀다. 120개 대화 594개 턴을 두 사람이 독립으로 주석하고 이견은 제3의 주석자가 조정한 검증 세트를 만들어, 파이프라인의 출력을 그 합의와 대조했다. 일곱 소스 전체의 주석 비용은 5,680달러였다.

1.1남의 규칙을 빌려와 자기 코퍼스에 돌려봤다

여기까지는 코퍼스 구축 이야기다. 이 연구가 화제가 된 것은 그다음 실험 때문이다. 앤트로픽의 경제지수(Economic Index) 2025년 3월 27일 판은 두 단계로 작동한다. 먼저 직업 관련 대화만 남기는 이진 필터를 통과시키고, 그렇게 살아남은 대화를 Clio 파이프라인으로 O*NET 직업 과업 클러스터에 매핑한다. 앤트로픽은 그 시스템 프롬프트와 분류 체계를 공개해 뒀다. 연구진은 그것을 그대로 재구현해 자기 코퍼스에 되돌려 적용했다.

재구현한 파이프라인은 다섯 단계다. ① is_occupational_task 이진 필터로 직업 대화 여부를 판정하고, 통과한 것만 ② 최상위 클러스터, ③ 중간 클러스터, ④ 최하위 클러스터로 내려보낸 뒤, ⑤ 다중 라벨로 직업 스킬을 배정한다. 비직업으로 판정된 대화는 ①에서 멈춘다. 과업 분포에는 아예 등장하지 않는다.

게이트를 돌릴 수 있었던 것은 일곱 소스 중 여섯이었다. NIO는 데이터 이용 협약상 사전 합의된 집계 주석만 엔클레이브 밖으로 나갈 수 있어 파이프라인 실행 자체가 불가능했다. 그렇게 여섯 소스에서 풀링된 22,956건이 비교 대상이 됐고, 그중 절반 가까이가 첫 관문에서 탈락했다.

출처: AI Observatory 논문 §3.2 및 부록 D.14. NIO는 데이터 이용 협약상 게이트를 적용할 수 없어 제외됐다.

1.2논문이 스스로 그은 선

이 대목에서 논문은 두 문장으로 자기 주장의 범위를 좁힌다. 하나는 "We do not claim it as an estimate for Claude.ai traffic or for representative AI use overall"이다. 47.9%는 클로드에서 실제로 벌어지는 일의 추정치가 아니라는 뜻이다. 다른 하나는 "the gate is not a neutral preprocessing step"이다. 이쪽이 진짜 주장이다. 전처리라는 이름으로 조용히 지나가는 이 단계가 중립적이지 않다.

논문은 한 발 더 나가 자기 결과를 약화시키는 사실까지 각주로 적어 뒀다. 앤트로픽의 이후 판본은 이 직업 필터를 적용하지 않으며, 그럼에도 비슷한 사용 분포를 얻는다는 것이다. 즉 연구진이 재현한 규칙은 이미 옛 판본이다. 그런데도 이 실험이 의미를 갖는 이유는 6장에서 다시 다룬다.

1.3숫자가 옮겨질 때 정의는 함께 오지 않는다

이 47.9%가 논문에서 기사로, 기사에서 요약으로 옮겨지는 과정을 따라가 보면 이 리포트가 말하려는 것이 한 번 더 실증된다. MIT 테크놀로지 리뷰의 보도는 걸러진 대화의 특성을 소개하면서 비교 상대를 "앤트로픽의 분석"으로 적었다. 그러나 논문에서 그 뒤 숫자는 앤트로픽 데이터가 아니라 같은 코퍼스 안에서 게이트를 통과한 쪽이다. 성적 콘텐츠 비율도 논문은 15.7%인데 기사는 16.7%, 혐오 기준선도 5.6%인데 5.66%로 적혔다. 같은 기사가 인용한 OpenAI의 업무 관련 비중 "30%"도 원 논문 표에서는 2025년 6월 기준 27%다.

이 어긋남은 기사에서 시작되지 않는다. 정작 OpenAI 논문 자신도 표에서는 73%(2025년 6월)라고 적고 결론부 산문에서는 "about 70%"(2025년 7월 기준)라고 쓴다. 인용 사슬의 각 마디에서 반올림과 시점이 조금씩 어긋난다. 숫자는 가볍고 정의는 무거워서, 옮길 때 숫자만 따라온다. 이 글이 47.9%를 다루는 방식도 그래서 "몇 퍼센트인가"가 아니라 "무엇의 몇 퍼센트인가"에서 시작한다.

절반이 빠졌다는 사실만으로는 아직 문제가 아니다. 업무 통계를 내겠다면 업무가 아닌 대화를 빼는 것은 당연한 절차다. 문제는 빠진 쪽이 무작위가 아니었다는 데 있다. 연구진은 소스와 주석을 그대로 고정한 채 게이트 하나로만 코퍼스를 둘로 갈랐다. 게이트가 제거한 쪽(CLIO-No)과 남긴 쪽(CLIO-Yes)을 같은 잣대로 비교한 것이다. 같은 데이터, 같은 주석, 오직 규칙 하나만 다른 두 집단이 만들어졌다.

네 가지 특성에서 격차가 특히 컸다. 아래 대비는 관측소와 앤트로픽의 비교가 아니라, 같은 코퍼스 안에서 제거된 대화와 남은 대화의 비교다.

두 집단의 차이는 부모 범주 수준에서 피셔 정확검정으로 따졌다. 특성이 백수십 개나 되면 그중 몇 개는 우연만으로도 유의해 보이기 때문에, 벤저미니–호크버그 방식으로 거짓 발견율을 통제한 뒤 살아남은 것만 셌다. 아래 넷은 그 관문을 통과한 항목들이다.

출처: AI Observatory 논문 §3.2, Figure 4 우측 재해석. FDR 보정을 통과한 유의 특성만 표시했다.

건강과 관계는 제거된 쪽이 44.2%, 남은 쪽이 31.2%로 두 집단 모두에 널리 퍼져 있다. 나머지 셋은 사정이 다르다. 괴롭힘과 혐오는 27.5% 대 5.6%로 다섯 배 가까이, 성적 콘텐츠는 15.7% 대 2.4%로 여섯 배 넘게 벌어진다. 안전 정책과 위험 평가가 가장 들여다봐야 할 대화들이 업무 프레임 밖에서 먼저 잘려 나간 것이다. 논문은 이 대비가 "우리 소스에 적용된 게이트의 성질"이라고 조건을 붙이지만, 그 조건 안에서도 함의는 분명하다.

2.1완결돼 보이는 체계가 무엇을 빠뜨리는가

논문이 이 결과에 붙인 한 문장이 이 섹션의 핵심이다. 어떤 분류 체계는 "포괄적으로 보이면서도 사회적으로 중요하거나 정책과 맞닿아 있거나 위해와 불균형하게 결부된 사용을 체계적으로 걸러낼 수 있다"는 것이다. 여기서 문제가 되는 것은 누락 자체가 아니라 누락의 비가시성이다. O*NET 직업 과업 분류는 그 안에서 완결돼 보인다. 무엇이 빠졌는지는 그 체계 안에서 보이지 않는다.

연구에 참여하지 않은 텍사스대 오스틴의 David Widder는 이 문제를 배치의 문제로 짚는다. 안전 관련 사용이 경제 분석과 분리돼 별도 보고서로 "구획"되면, 서로 다른 사용을 하나의 조감도 위에서 비교할 방법이 사라진다는 것이다. 그가 던지는 질문은 단순하다. 어떤 범용 AI 시스템이 대체로 좋은 데 쓰이는지 나쁜 데 쓰이는지 우리는 답할 수 있는가. 답할 수 없는 이유는 그 정보가 사업자 소유이기 때문이다.

47.9%는 소스 여섯 개를 한데 뭉쳐 낸 평균이다. 소스별로 풀어 보면 폭이 훨씬 넓다. 똑같은 게이트를 돌렸는데 AI Archive에서는 34.2%, LMSYS-Chat-1M에서는 61.9%가 비직업으로 걸러졌다. 규칙은 한 줄도 바뀌지 않았다. 바뀐 것은 그 규칙이 만난 데이터뿐이다. 논문은 옵트인 소스라 어떤 속성이 이 차이를 만들었는지 특정할 수 없다고 인정하면서도, 차이의 크기 자체가 논점이라고 쓴다.

일곱 소스를 나란히 놓고 보면 왜 그런지가 보인다. 이들은 같은 종류의 데이터가 아니다. 수집 방식도, 시기도, 사용자 구성도 제각각이다.

출처: AI Observatory 논문 Table 1(프리프린트본). WildChat은 480만 건 중 14,648건만 주석한 층화 표본이며, 전수 조사가 아니다.

표에 드러나지 않는 구조적 차이도 크다. Grok 대화의 평균 응답 길이는 1,322.9 토큰인데, 다른 소스들은 51.8에서 181.0 토큰 사이에 있다. 한 자릿수 배율이 아니다. ShareGPT는 대화당 평균 4.42턴, AI Archive는 4.34턴으로 여러 번 주고받는 반면, 선호도 대결용으로 수집된 Arena 대화는 한두 턴에서 끝난다. 수집 표면이 대화의 모양을 먼저 정한다.

모양만 다른 것이 아니다. 무엇에 쓰는지도 소스마다 갈린다. 정보 검색이 차지하는 비중은 Grok에서 67.1%인데 WildChat에서는 26.2%에 그친다. ShareGPT는 콘텐츠 생성이 63.6%로 몰려 있고, AI Archive는 정보 분석이 53.9%다. 어느 소스를 집어 드느냐가 "사람들은 AI를 주로 무엇에 쓰는가"의 답을 먼저 정해 버린다.

위험을 재려는 쪽에는 더 곤란한 대목이 있다. 숙제 대리 같은 학업 정책 문제의 출현율은 WildChat에서 23.1%, AI Archive에서 40.4%로 나타난다. 오정보는 Grok에 몰려 다른 소스의 4.2~10.2%에 견줘 15.3%다. 성적 콘텐츠나 괴롭힘, 프라이버시, 저작권처럼 드물게 나타나는 범주일수록 소스 간 상대적 격차가 더 크다. 논문의 결론은 담담하다. 어느 한 소스로 특정 위험의 크기를 재면 그 값은 빗나간다.

3.1같은 플랫폼에서도 모델이 바뀌면 갈린다

차이가 소스 사이에서만 나타났다면 "데이터셋마다 다르다"는 익숙한 얘기로 끝났을 것이다. 연구진은 소스와 기간을 고정한 채 모델 변종만 바꿔 비교했다. Chatbot Arena 안에서 제미나이는 응답 길이가 다른 모델보다 81.0% 길고, Grok은 78.0% 긴 반면 클로드는 59.8% 짧다. NIO에서도 제미나이 대화가 ChatGPT의 두 배 이상 길다. 같은 플랫폼, 같은 시기, 같은 사용자 풀에서 나온 결과다.

같은 제품 안에서 모델만 갈아 끼워도 대화의 결이 달라진다. 연구진은 ChatGPT가 GPT-3.5로 돌아가던 시기의 대화가 더 짧았고, GPT-4o로 넘어간 뒤에는 길고 여러 번 주고받는 쪽으로 옮겨 갔다고 보고한다. 개발사별로 몰리는 용도도 뚜렷하다. 사람들은 코딩에는 클로드를, 소셜과 롤플레이에는 제미나이를, 숙제에는 ChatGPT를 더 자주 불렀다. 그런데 사업자 보고서는 대개 자기 모델들 사이의 이런 차이조차 따로 세지 않는다.

논문이 여기서 끌어내는 결론이 "플랫폼 인터페이스와 사용자 구성이 모델 자체만큼이나 AI 사용 방식을 규정한다"이다. 벤치마크로 모델 행동만 재는 평가는 배포 환경에서 실제로 발생하는 위험을 체계적으로 잘못 추정할 수 있다는 경고가 여기서 나온다.

3.2세 회사의 숫자가 서로를 반박하지 않는 이유

이 논점은 사업자 보고서를 나란히 놓을 때 더 선명해진다. 마이크로소프트는 2025년 7월 Bing Copilot 대화 20만 건을 O*NET 업무 활동에 매핑한 연구를 냈다. 앤트로픽과 같은 분류 축을 쓰되 제품과 표본이 다르다. 한편 X에서의 Grok 상호작용 41,735건을 분석한 연구는 사적인 1:1 대화 연구에서는 보이지 않던 역할을 발견했다. 공개된 타임라인 위에서 Grok은 진위 판정자이자 옹호자이자 적대자로 호출된다. 연구진이 귀납적으로 세운 역할 분류는 열 가지이고, 그중 가장 흔한 것은 여전히 정보 제공이다. 공개 공간이라는 조건이 분쟁 조정이라는 역할을 그 위에 얹었을 뿐이다. 이 연구가 함께 보고한 운영 수치도 사적 대화 연구에서는 나올 수 없는 종류다. Grok은 자신을 부른 요청의 62%에만 답했고, 답한 것의 절반은 48시간이 지나도 조회수가 스무 번을 넘지 못했다. 같은 모델도 배포 표면이 바뀌면 용도 자체가 바뀐다.

분류 체계가 결론을 만드는 장면도 있다. OpenAI의 사용 분석에서 관계·정서 대화는 전체 메시지의 1.9%에 불과하다. 그런데 같은 논문이 병기한 외부 추정에서는 "치료·동반자 역할"이 생성형 AI의 가장 흔한 용도로 꼽힌다. 코딩도 마찬가지다. ChatGPT 소비자 대화에서 컴퓨터 프로그래밍은 4.2%인데, 클로드 업무 대화에서 코딩 비중은 그와 비교할 수 없이 높다. 어느 쪽도 거짓말을 하지 않는다. 분모와 분류 체계와 사용자층이 다를 뿐이다.

범주를 어떻게 자르느냐도 그림을 바꾼다. 같은 OpenAI 분석에서 실용적 조언과 정보 탐색, 글쓰기 세 범주가 전체 대화의 80% 가까이를 차지한다. 상자를 크게 잡으면 대부분의 사용이 몇 개 상자 안에 담기고, 잘게 잡으면 같은 사용이 여러 상자로 흩어져 어느 것도 커 보이지 않는다. 그러니 두 회사의 표를 나란히 놓고 어느 쪽이 맞는지 따지는 일에는 별 소득이 없다. 연구를 함께 이끈 Shayne Longpre의 요약이 이 자리에 맞는다. "어느 한 회사의 보고서도 전체 이야기를 들려주지 않는다."

표본 구성이 결론을 만든다는 논점은 오픈웨이트 모델 사용의 지리적 격차를 다룬 리포트에서도 같은 형태로 나타난 적이 있다. 그 글이 연구 논문 코퍼스에서 벌어진 일을 봤다면, 이번 글은 사업자 자기 보고에서 벌어지는 일을 본다.

표본을 바꾸면 결론이 바뀐다는 것까지는 익숙한 얘기다. 이 연구가 한 걸음 더 나간 지점은 그다음이다. 표본을 고정해도 시점이 바뀌면 결론이 바뀐다. 연구진은 일곱 소스 중 유일하게 다년간 타임스탬프를 갖춘 WildChat을 골라 2023년 4월부터 2025년 7월까지의 변화를 쟀다. 데이터셋 이름은 그대로다. 안에 든 것이 달라졌을 뿐이다.

아래는 그 2년 3개월 사이에 유의하게 움직인 여섯 가지다. 위의 셋은 대화가 얼마나 커졌는지에 관한 것이고, 아래 셋은 사람과 모델이 서로에게 말하는 방식에 관한 것이다.

출처: AI Observatory 논문 §3.3. 모두 FDR 보정을 통과한 유의 변화이며, 퍼센트는 평균값 변화율, pp는 출현 비율의 변화폭이다.

프롬프트 길이가 열 배 넘게 늘었다. 응답은 두 배가 됐고, 대화당 턴도 늘었다. 사교적인 인사말이 21.5퍼센트포인트 늘어난 반면 "저는 챗봇입니다" 식의 자기 개시는 12.0퍼센트포인트 줄었다. 응답에 서식 있는 목록이 등장하는 비율은 25.8퍼센트포인트 올랐다. 사용자의 습관과 모델의 말투가 함께 이동한 흔적이다. 무엇을 이야기하는지도 같이 움직였다. 성인·불법 주제는 11.2퍼센트포인트, 숙제 대리 같은 학업 정책 관련 사용은 13.9퍼센트포인트 줄어든 반면, 프롬프트에 코드를 붙여 넣는 비율은 15.2퍼센트포인트 올랐다. 논문의 표현으로는 "정적인 WildChat 표본은 여러 시간 체제를 뒤섞는다." 2023년 대화와 2025년 대화를 한 통에 담아 놓고 평균을 내면, 그 평균은 어느 해의 현실도 아니다.

4.1총량이 늘어도 개인은 오히려 좁아졌다

여기서 반직관적인 발견이 하나 나온다. 재방문 사용자만 따로 떼어 첫 달과 마지막 달을 비교하면, 개인은 더 많이 쓰지 않는다. 대화당 턴 수는 오히려 압축되고, 사용하는 기능의 종류는 넷에서 셋으로, 민감 사용 플래그는 둘에서 하나로 줄어든다. 프롬프트 길이나 주제 분포에서는 유의한 변화가 없다. 즉 코퍼스 전체를 부풀린 것은 사용자 구성의 변화였다. 논문의 문장으로는 "within-user intensification"이 아니라 "user-composition shifts"다.

구성이 바뀐다는 말이 무슨 뜻인지는 사용자를 묶어 보면 드러난다. 연구진은 재방문 사용자를 주제 분포로 군집화해 24개 페르소나를 얻었고, 이를 다시 여섯 개 상위군으로 묶었다. 판타지·픽션·엔터테인먼트 애호군에서는 롤플레이가 기준선보다 10.4퍼센트포인트 높게 나타나고, 성적 콘텐츠는 29.5퍼센트포인트, 탈옥 시도는 20.0퍼센트포인트 높다. 기술 중심 학습자군은 응답에 코드가 담긴 비율이 27.4퍼센트포인트 높고, 프라이버시가 걸린 턴도 14.8퍼센트포인트 많다. 같은 서비스를 쓰는 사람들이지만 사용의 결은 군집마다 따로 논다.

출처: AI Observatory 논문 §3.4, Figure 7·8 재해석. 나머지 네 상위군(건강·심리 성찰 학습, 문화 소통·독서, STEM·공학 교육, 비즈니스 테크·커뮤니케이션)의 개별 수치는 본문에 인용되지 않아 생략했다.

2장에서 본 게이트가 걸러낸 것이 흩어진 잡담은 아니었으리라는 정황이 여기서 한 번 더 나온다. 민감한 사용은 코퍼스 전체에 고르게 뿌려져 있지 않고 특정 사용자군에 뭉쳐 있다. 그런 사용을 업무 여부로 한 번 걸러 내면 빠지는 것은 대화 몇 건이 아니라 한 무리의 사용자다. 다만 이 군집은 한 소스 안에서 관찰된 것이고 게이트 실험은 여섯 소스를 풀링한 결과라, 둘을 곧바로 이어 붙여 인과로 말할 수는 없다.

참고로 이 분석은 일곱 소스 중 WildChat에서만 가능했다. 안정적인 사용자 식별자와 충분한 시간 이력을 동시에 갖춘 소스가 그것뿐이었기 때문이다. 사용자 페르소나 군집 분석도 같은 이유로 한 소스에 갇혔다. 분석의 범위를 정한 것은 연구 설계가 아니라 메타데이터의 유무였다. 이 얘기는 5장에서 이어 간다.

4.2사업자 자기 데이터에서도 같은 일이 확인됐다

시점 문제가 독립 코퍼스만의 흠결이라면 이 섹션은 여기서 끝났을 것이다. 2026년 6월 26일, 앤트로픽이 여섯 번째 경제지수 보고서를 냈다. 제목은 "Cadences"이고, 내용의 절반이 측정 방법을 바꿨다는 고백이다. 매일 조금씩 뽑는 상시 텔레메트리로 갈아탄다면서 이렇게 적었다. "이전 경제지수 보고서들이 각각 의존했던 7일치 표본과 달리." 뒤집어 읽으면, 그때까지의 모든 보고서가 일주일짜리 스냅숏이었다는 뜻이다.

상시 관측이 처음 보여준 것이 요일 효과였다. 개인 목적 대화의 비중이 평일에는 35% 안팎이다가 주말에는 50% 가까이로 뛴다.

출처: 앤트로픽 경제지수 6차 보고서 "Cadences"(2026-06-26). 상시 텔레메트리 도입 후 처음 관측된 요일 효과.

7일이라는 창이 어느 요일을 덮느냐에 따라 헤드라인 숫자가 10퍼센트포인트 넘게 흔들릴 수 있다는 얘기다. 앞선 다섯 개 보고서는 모두 그 창으로 찍은 사진이었다. 비슷한 일이 5차 보고서에서도 있었다. 2026년 3월 보고서는 학업 목적 대화가 19%에서 12%로 줄고 개인 목적이 35%에서 42%로 늘었다고 보고했는데, 그 원인의 상당 부분을 앤트로픽 자신이 겨울 방학과 2월의 신규 가입 증가로 설명했다. 사용 양상이 변한 것이 아니라 달력이 넘어간 것이다.

독립 측정이 왜 이제야 나왔는지를 묻는다면, 대개 돈 얘기가 먼저 나올 것이다. 이 연구의 총 주석 비용은 5,680달러다. WildChat이 3,904달러로 가장 컸고 나머지는 몇백 달러 단위다. 검증 세트 자동 주석에 182달러가 더 들었다. 웬만한 조직의 한 달 클라우드 비용에도 못 미친다. 독립 측정을 막아 온 것은 비용이 아니었다.

파이프라인을 실제로 멈춰 세운 것은 권리 쪽이었다. NIO는 데이터 이용 협약상 사전 합의된 집계 주석만 엔클레이브 밖으로 나갈 수 있다. 그래서 게이트 재현 자체가 불가능했고, 일곱 소스 중 여섯만 비교 대상이 됐다. Chatbot Arena는 프롬프트가 CC-BY 4.0인 반면 응답이 CC-BY-NC 4.0이라, 비상업 제약이 응답 쪽 파생 주석까지 그대로 전파됐다. LMSYS는 삭제 요청권 조항을 준수해야 했다. 라이선스는 원본에만 붙는 게 아니라 그 위에 얹은 주석까지 따라온다.

동의의 형태도 소스마다 달랐다. WildChat은 무료 API 중개 서비스 이용 조건으로 명시적 허가를 받았고, AI Archive는 사용자가 "공개 공유"를 눌렀다는 사실에 근거한다. Grok 데이터는 사용자가 스스로 공개 게시한 대화를 크롤한 것이다. 그런데 이 마지막 항목에는 그늘이 있다. 2025년 8월, 공유된 Grok 대화 수천 건이 구글 검색에 그대로 노출된 사건이 있었고 논문 서지에도 인용돼 있다. 동의한 공개의 범위와 실제 공개의 범위가 어긋난 사례다. 라이선스가 열려 있다고 해서 사용자가 그 상황을 상상했다는 뜻은 아니다. 데이터 라이선스가 파생물로 전파되며 만드는 비용 문제는 공개 데이터셋 라이선스 감사 비용을 다룬 리포트에서 별도로 살핀 적이 있다.

5.1지금 안 남기면 나중에 복원되지 않는다

이 리포트에서 실무자가 가져갈 것이 있다면 아마 이 부분이다. 4장에서 본 시간 분석이 일곱 소스 중 WildChat 하나에서만 가능했던 이유는 연구 역량이 아니라 기록의 부재였다. 타임스탬프가 없거나, 모델 식별자가 없거나, 같은 사람을 이어 붙일 안정적인 식별자가 없었다. 페르소나 분석이 한 소스에 갇힌 것도 같은 이유다. 데이터를 모으는 시점에 함께 남기지 않은 항목은 나중에 어떤 방법으로도 복원되지 않는다.

사내 AI 사용 로그를 쌓고 있는 조직이라면 아래 항목을 지금 확인해 두는 편이 낫다. 논문 부록의 라이선스·동의 표를 실무 언어로 옮긴 것이다.

AI Observatory 논문 부록 C·E의 소스별 동의·라이선스 조건을 사내 로그 설계 관점으로 재구성했다.

학습 데이터의 계보를 추적하는 문제는 강화학습 보상 데이터의 프로버넌스를 다룬 리포트에서 이미 한 차례 짚었다. 이번 사례가 새로운 것은 그 문제가 학습 데이터가 아니라 사용 데이터에서 똑같이 반복된다는 점이다. 모델에 들어가는 데이터만 계보가 필요한 게 아니다. 모델을 쓰고 남은 기록에도 같은 정밀도가 필요하다.

여기까지 읽고 "그러니 사업자 통계 대신 관측소를 믿자"로 넘어가면 이 글의 논지를 정확히 반대로 가져가는 것이 된다. 관측소는 새 권위가 아니다. 비교 가능한 두 번째 관측점일 뿐이고, 그 관측점에도 흠이 많다. 그 흠을 논문이 직접 적어 뒀으니 먼저 그것부터 보자.

첫째, 주석의 정확도가 완전하지 않다. 인간 주석자 합의와 비교했을 때 아홉 개 계열의 부모 범주 F1 중앙값은 0.856이고, 세분화된 프롬프트 기능 수준에서는 0.648까지 떨어진다. 그래서 본문의 모든 비교는 부모 범주 수준에서만 이뤄진다. 둘째, 주석이 결정론적이지 않다. 논문의 표현으로 "온도 0도, 고정 시드도 API를 통한 동일 출력을 보장하지 않는다." 하필 가장 불안정한 것이 민감 사용 계열이라, 이 리포트의 2장에 나온 수치들도 근사치로 읽어야 한다. 셋째, 검증 세트를 분류 체계 설계자 본인들이 만들었다. 외부 블라인드 주석이 없다는 뜻이고, 논문은 이를 두고 "파이프라인이 우리 주석 체계에 충실했다는 증거이지 그 체계 자체가 타당하다는 증거는 아니다"라고 적는다.

커버리지도 좁다. 모든 소스가 옵트인 또는 공개 동의 기반이라 공개하기 꺼려지는 대화는 구조적으로 과소 대표된다. 사설 배포, 온디바이스 어시스턴트, 글로벌 사우스에서 널리 쓰이는 서비스는 대체로 범위 밖이다. 코퍼스 자체도 계속 갱신된다. 논문 PDF는 23,158건이지만 프로젝트 웹사이트와 NeurIPS 2026 카메라레디본은 24,521건이고, 증가분은 거의 전부 Grok 소스의 2026년 4월 2차 크롤에서 나왔다. 다행히 이 글이 다루는 47.9%는 두 판본에서 동일하다.

6.1비판 대상은 이미 지나간 판본이다

관측소가 재현한 규칙이 옛 판본이라는 사실도 감출 이유가 없다. 앤트로픽은 그 사이 측정 방법을 여러 차례 바꿨고, 바꿀 때마다 무엇을 어떻게 바꿨는지 공개했다.

출처: 앤트로픽 경제지수 각 보고서 본문. 6차 서베이는 앤트로픽 스스로 "일반 인구를 대표하지 않는다"고 밝히며, 응답자의 약 30%가 컴퓨터·수학 직군이다.

1년 3개월 사이 필터가 프리미티브로 바뀌었고, 스냅숏이 상시 관측으로 바뀌었고, 로그에 서베이가 더해졌다. 관측소가 겨눈 과녁은 이미 두 번 이동한 뒤다. 그런데 이 사실이 이 리포트를 약화시키지 않는다. 규칙이 이렇게 자주 바뀐다는 것 자체가 규칙을 바깥에서 다시 돌려볼 수 있어야 한다는 논지의 근거이기 때문이다. 매번 바뀌는 잣대로 잰 값들이 시계열처럼 나란히 인용되는 상황이야말로 이 글이 문제 삼는 것이다.

6.2이 검증을 가능하게 한 것은 공개였다

그리고 여기에 이 사건의 반전이 있다. 연구진이 하필 앤트로픽의 규칙을 재현한 이유는 앤트로픽이 유별나게 미덥지 않아서가 아니다. 재현할 수 있는 규칙이 그것뿐이었기 때문이다. 앤트로픽은 2025년 3월 판의 데이터를 CC-BY 4.0으로, 코드를 MIT 라이선스로 공개했다. 그 순간부터 그 숫자는 홍보물이 아니라 검증 대상이 됐다. 규칙을 공개하지 않은 회사의 통계는 이런 방식으로 비판받을 수조차 없다. 비판의 가능성은 개방의 부산물이다.

관측소를 보도한 기사에 실린 앤트로픽 대변인의 답변도 이 자리에 놓아 둘 만하다. 자사가 내놓는 연구는 연구팀이 품은 구체적인 질문과 관심을 반영하며, 외부의 독립 연구를 지원하는 일이 중요하다고 했다. 같은 기사에서 OpenAI는 답하지 않았다. 회사가 무엇을 말하는지보다 바깥에서 무엇을 다시 돌려볼 수 있는지가 이 논의의 실질이라는 점이 여기서도 확인된다.

그래서 결론은 더 착한 사업자를 기다리자는 쪽이 될 수 없다. 사업자 로그는 규모와 커버리지에서 독보적이고, 2만 3천 건짜리 독립 코퍼스가 대체할 수 있는 것이 아니다. 필요한 것은 대체재가 아니라 같은 규칙을 다른 데이터에 돌려볼 수 있는 공개 측정 계층이다. 사업자가 분류 프롬프트와 체계를 공개하고, 독립 연구자가 그것을 자기 코퍼스에 적용해 보고, 두 결과의 차이가 어디서 나오는지를 따질 수 있는 구조. 관측소가 한 일이 정확히 그 구조의 첫 실행이었다.

편집자 노트

페블러스가 이 연구를 오래 붙잡고 읽은 이유를 밝혀 둔다. 데이터를 진단하려면 그 데이터가 어떻게 모였는지를 먼저 알아야 한다는 것이 우리가 하는 일의 전제다. 이 연구는 그 전제를 학습 데이터 너머 사용 데이터 쪽으로 확장한 첫 대규모 사례다. 47.9%는 모델의 성질이 아니라 전처리 규칙 한 줄의 성질이었다. 선별 규칙이 곧 결론이라는 말의 가장 깨끗한 실증이기도 하다.

데이터 품질을 정합성 검사 목록으로만 이해하면 이 사례가 보이지 않는다. 같은 게이트를 여섯 소스에 돌렸더니 34.2%에서 61.9%까지 벌어졌다. 규칙이 고정돼도 표본이 바뀌면 결론이 바뀐다. 반대로 WildChat 한 소스 안에서도 시점이 바뀌자 프롬프트 길이가 열 배 넘게 달라졌고, 앤트로픽 자기 데이터에서도 평일과 주말이 개인 사용 비중을 15퍼센트포인트 가까이 갈랐다. 표본이 고정돼도 시점이 바뀌면 결론이 바뀐다. 구성과 시점, 이 두 축을 문서화하고 재현 가능하게 만드는 일이 우리가 말하는 데이터 품질에 가깝다.

실무 쪽으로 옮기면 더 구체적이다. 사내 AI 사용 대시보드를 만드는 조직은 예외 없이 같은 갈림길에 선다. 어떤 대화를 업무로 셀 것인가. 이 리포트는 그 선택이 만드는 오차의 크기를 실측치로 보여준다. 5장의 표는 로그를 나중에도 분석 가능하게 남기려면 지금 무엇을 함께 기록해야 하는지의 체크리스트로 그대로 쓸 수 있다. 관측소가 시간 분석을 일곱 소스 중 하나에서만 할 수 있었던 이유가 바로 그 기록의 부재였다.

마지막으로, 이 사건이 남긴 교훈은 이쪽이다. 앤트로픽이 규칙을 공개했기에 검증이 가능했다. 신뢰의 단위는 선의가 아니라 재현 가능한 파이프라인이다. 데이터 진단과 프로버넌스를 다루는 독립 계층이 필요한 이유가 여기에 있다고 우리는 생각한다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 8월 21일

이 글의 수치는 모두 1차 출처에서 직접 확인했다. AI Observatory 논문은 본문과 부록 원문을, 앤트로픽 경제지수와 OpenAI 사용 분석은 각 기관이 공개한 보고서와 논문 원문을 근거로 삼았다. 아래는 그 1차 출처, 원 논문이 방법론의 근거로 인용한 학술 문헌, 그리고 같은 주제를 다룬 페블러스의 인접 글을 묶은 것이다.

1차 출처

• 1.Longpre, S., Reuel, A., Ki, D., et al. (2026). The AI Observatory: A Public Measure of Real-World AI Use. Preprint. 프로젝트 플랫폼: ai-observatory.org
• 2.Anthropic. (2026-01-15). Anthropic Economic Index Report: Economic Primitives.
• 3.Anthropic. (2026-03-24). Anthropic Economic Index Report: Learning Curves.
• 4.Anthropic. (2026-06-26). Anthropic Economic Index Report: Cadences. 7일 표본에서 상시 텔레메트리로의 전환과 요일 효과.

측정 방법론 (학술)

• 5.Tamkin, A., McCain, M., Handa, K., et al. (2024). Clio: Privacy-Preserving Insights into Real-World AI Use. arXiv:2412.13678.
• 6.Handa, K., Tamkin, A., McCain, M., et al. (2025). Which Economic Tasks are Performed with AI? Evidence from Millions of Claude Conversations. arXiv:2503.04761. 관측소가 재현한 게이트의 원 판본.
• 7.Chatterji, A., Cunningham, T., Deming, D., Hitzig, Z., Ong, C., Shan, C., & Wadman, K. (2025). How People Use ChatGPT. NBER Working Paper No. 34255.
• 8.Tomlinson, K., Jaffe, S., Wang, W., Counts, S., & Suri, S. (2025). Working with AI: Measuring the Applicability of Generative AI to Occupations. arXiv:2507.07935. Bing Copilot 대화 20만 건의 O*NET 매핑.
• 9.Mei, Y., Wolfe, R., Weber, I., & Saveski, M. (2026). Grok in the Wild: Characterizing the Roles and Uses of Large Language Models on Social Media. arXiv:2602.11286.
• 10.Benjamini, Y., & Hochberg, Y. (1995). Controlling the False Discovery Rate. Journal of the Royal Statistical Society B, 57(1), 289–300.

코퍼스·데이터 거버넌스 (학술)

• 11.Zhao, W., Ren, X., Hessel, J., Cardie, C., Choi, Y., & Deng, Y. (2024). WildChat: 1M ChatGPT Interaction Logs in the Wild. ICLR 2024.
• 12.Zheng, L., Chiang, W.-L., Sheng, Y., et al. (2024). LMSYS-Chat-1M: A Large-Scale Real-World LLM Conversation Dataset. ICLR 2024.
• 13.Chiang, W.-L., Zheng, L., Sheng, Y., et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• 14.Longpre, S., Mahari, R., Chen, A., et al. (2023). The Data Provenance Initiative: A Large Scale Audit of Dataset Licensing & Attribution in AI. arXiv:2310.16787.
• 15.Mireshghallah, N., Antoniak, M., More, Y., Choi, Y., & Farnadi, G. (2024). Trust No Bot: Discovering Personal Disclosures in Human-LLM Conversations in the Wild. arXiv:2407.11438.
• 16.National Center for O*NET Development. O*NET OnLine. CC BY 4.0. 경제지수 재현에 사용된 직업 과업 분류 체계.

언론

• 17.Guo, E. (2026-08-18). We Still Don't Know How People Are Really Using AI. MIT Technology Review.
• 18.Bellan, R. (2025-08-20). Thousands of Grok Chats Are Now Searchable on Google. TechCrunch. 논문 서지에 인용된 동의 범위 불일치 사례.

페블러스 인접 글

• 19.페블러스. 과학이 쓰는 AI 모델을 국적이 갈랐다. 표본 구성이 결론을 만든 또 하나의 사례.
• 20.페블러스. 공개 데이터셋 라이선스 감사 비용. 라이선스 제약이 파생물로 전파되는 문제.
• 21.페블러스. 강화학습 보상 데이터의 프로버넌스. 학습 데이터 쪽의 같은 문제.
• 22.페블러스. 마이크로소프트 MAI의 프로버넌스 공백.