Executive Summary

테크 칼럼니스트 Will Lockett은 Anthropic이 Alibaba의 "증류 공격"을 성토하는 것을 위선이라 불렀다. Anthropic 자신도 원저작자 동의 없이 책을 긁어 학습했고 15억 달러에 합의한 전력이 있기 때문이다. 하지만 "누가 더 위선인가"는 이 사건의 표면일 뿐이다. 한 겹만 벗기면 훨씬 중요한 질문이 나온다. 증류는 왜 이토록 값싸고 강력한가. 이 글은 그 물음을 소버린 AI와 원본 데이터의 관점에서 따라간다.

답은 단순하다. 증류가 값싼 이유는 원본 모델이 흡수한 데이터의 다양성과 큐레이션 품질에 무임승차하기 때문이다. 교사 모델의 출력은 사실상 그 데이터 분포의 압축본이고, 학생 모델은 그 분포를 헐값에 베낀다. 원본이 없으면 증류도 없다. 그런데 세대를 거쳐 증류·합성 데이터만 반복 학습하면 분포의 꼬리부터 사라지며 모델이 붕괴한다. Nature 2024 연구가 확인한 유일한 처방은 매 세대 원본 실데이터를 10%씩 섞는 것이었다.

이 렌즈로 보면 지금 각국이 벌이는 소버린 AI 경쟁의 병목이 다시 그려진다. 전 세계 소버린 AI 프로젝트 예산은 컴퓨트 인프라 59%, 모델 34%로 쏠려 있고 국가 데이터 이니셔티브는 단 7%에 그친다. GPU를 아무리 쌓아도, 라이선스된 고품질 원본 데이터 파이프라인이 없으면 결국 프런티어 모델을 증류해 뒤따를 수밖에 없다. 데이터 주권이 곧 AI 주권이다.

이 글을 관통하는 숫자는 네 개다.

59% vs 7%

소버린 AI 예산 — 컴퓨트 인프라 대 국가 데이터 이니셔티브 (CNAS)

$1.5B

원본 데이터 무단 취득의 법적 청구서 — 권당 약 $3,000 (Bartz v. Anthropic)

10~100배

프런티어 대비 증류 학생 모델의 훈련비 격차 (기준에 따라)

원본 10%

model collapse를 막는 유일 검증 처방 (Shumailov, Nature 2024)

1

"위선"이라는 훅, 그 아래의 질문

Will Lockett의 글 제목은 도발적이다. "AI 증류 공격은 지극히 멍청하다." 요지는 이렇다. Anthropic은 경쟁사가 자사 모델을 증류했다며 규제 당국에 서한까지 보냈지만, 정작 Anthropic 자신은 저작권자 동의 없이 책을 긁어 모델을 학습시켰고 그 대가로 15억 달러를 물었다. 남의 무단 학습은 "공격"이고 자기 무단 학습은 "혁신"이라면, 그 잣대는 앞뒤가 맞지 않는다는 것이다.

먼저 사실관계부터 정리해야 한다. 여기서 흔히 뒤섞이는 두 사건이 있다. 하나는 2026년 2월 Anthropic이 공개한 16M 대화 / 24,000 계정 규모의 증류 정황인데, 이것은 DeepSeek·Moonshot·MiniMax 세 곳을 합산한 수치다. 다른 하나는 2026년 6월 미국 상원 은행위원회에 보낸 서한에서 드러난 28.8M 대화 / 약 25,000 계정 규모로, Anthropic이 "사상 최대 알려진 증류 공격"이라 표현한 Alibaba(Qwen) 관련 건이다. 기간은 2026년 4월 22일부터 6월 5일까지로 명시됐다. 두 사건은 규모도 대상도 다르다.

2026년 2월 16M / 24,000 대화 · 계정 DeepSeek·Moonshot·MiniMax 3사 합산 수치 2026년 6월 28.8M / 25,000 대화 · 계정 Alibaba(Qwen) 단독 "사상 최대" — Anthropic 표현 두 수치 모두 Anthropic의 일방적 주장 · 독립 검증 없음 · Alibaba는 의혹 부인
▲ 흔히 혼동되는 두 사건 — 2026년 2월(3사 합산)과 2026년 6월(Alibaba 단독, 더 큰 규모)은 별개 사건이다 (페블러스 원본 도식)

중요한 단서. 이 수치들은 모두 Anthropic의 일방적 주장이며 독립적으로 검증되지 않았다. Alibaba는 관련 의혹을 부인했다. "16M/24,000"을 Alibaba 사건으로 인용하는 초기 보도가 많았지만, 이는 서로 다른 두 사건을 섞은 오류다. 규제·법정 논의로 넘어갈수록 이 구분은 사소하지 않다.

Lockett의 "멍청하다"는 판단에는 근거도 있다. 전문가들은 증류가 애초에 학계와 산업 전반에서 널리 쓰이는 합법적 기법이라고 지적한다. 지식 증류의 계보는 Hinton 등이 2015년에 정식화한 이래 표준 도구였다. 그러니 증류 자체를 "공격"으로 규정하는 순간, 정당한 기법과 부당한 무단 이용의 경계가 흐려진다. 서비스 약관 위반일 수는 있어도, 저작권 침해나 영업비밀 절도로 규제될지는 아직 미정이다.

그래서 위선 논쟁은 결국 한 곳으로 수렴한다. 문제의 본질은 "무엇을 학습했는가(what)"가 아니라 "그 데이터를 어디서 어떻게 얻었는가(where you got it)"다. 우리가 이전에 다룬 메타 267TB 소송 사건에서도 같은 구조가 반복됐다. 학습 행위가 아니라 취득 경로가 책임을 갈랐다. 위선을 따지는 논쟁은 표면이고, 그 아래에는 데이터 출처 규범의 부재라는 진짜 질문이 있다. 그 질문에 답하려면 먼저 증류가 대체 무엇을 옮기는지 들여다봐야 한다.

2

증류가 훔치는 것의 정체

증류의 원리는 의외로 소박하다. 큰 교사 모델에 질문을 던지고, 그 응답과 확률 분포(로짓)를 학생 모델이 흉내 내도록 학습시킨다. 교사가 "이 문장 다음에 올 단어는 68% 확률로 A, 21%로 B"라고 답하면, 학생은 그 미묘한 확률의 그늘까지 베낀다. 정답 하나만 주는 것보다 훨씬 풍부한 신호다. 핵심은 이것이다. 교사의 출력은 교사가 학습한 원본 데이터 분포의 압축본이다. 학생은 원본 데이터를 한 줄도 보지 않고, 그 데이터가 교사 안에 새겨 놓은 통계적 그림자만 값싸게 물려받는다.

그래서 소량의 교사 출력으로도 강력한 학생이 나온다. DeepSeek이 공개한 R1-Distill-Qwen-32B는 MATH-500에서 94.3%를 기록하며 훨씬 큰 프런티어 모델의 추론 능력을 상당 부분 복제했다. 벤치마크 숫자만 보면 원본과 학생의 거리는 놀랄 만큼 가깝다. 무임승차가 성립하는 지점이 바로 여기다. 교사를 만든 쪽이 데이터 수집과 큐레이션에 쏟은 수억 달러를, 학생은 승계하지 않는다.

숫자로 보면 격차가 선명하다. DeepSeek-V3의 최종 훈련 컴퓨트는 약 560만 달러로 알려졌고, GPT-4급 프런티어 모델에 든 5,000만~1억 달러대와 견주면 기준에 따라 10배에서 100배까지 싸다. 다만 SemiAnalysis는 이 저비용을 알고리즘의 승리로만 읽지 않았다. R1의 강화학습 비용이 10만 달러 안팎에 그친 진짜 이유는 고품질 질문·답변 쌍의 수량이 처음부터 제한적이었기 때문이라는 것이다. 여기서도 병목은 컴퓨트가 아니라 데이터였다. 저비용이라는 표면 아래에는, 그 저비용을 떠받치는 원본 데이터의 희소성이 이미 자리 잡고 있다.

그런데 벤치마크가 가리지 못하는 것이 있다. 증류가 옮기지 못하는 것이다. 분포의 꼬리, 즉 드물지만 결정적인 롱테일 사례, 정렬(alignment)의 견고함, 희귀 도메인 지식은 교사 출력 표본에 좀처럼 잡히지 않는다. 그리고 증류·합성 데이터로 세대를 반복하면 이 손실이 누적된다. 이것이 model collapse다.

Shumailov 등이 Nature에 2024년 발표한 연구는 이 붕괴를 정밀하게 측정했다. 순수 합성 데이터만으로 재훈련을 반복하자 perplexity가 34에서 50대로 악화됐고, 대략 아홉 세대 만에 출력이 의미 없는 반복 리스트로 무너졌다. 무엇이 먼저 사라졌는가. 흔한 사례는 넘치도록 재현되지만 드문 사례는 몇 안 되기 때문에, 재귀 학습은 이 희소한 꼬리부터 잊어버린다. 모델은 점점 평균으로만 수렴한다. 이 현상의 메커니즘과 시장 함의는 합성 데이터 오염의 경제학에서 더 깊이 다뤘다.

perplexity(당혹도) — 세대별 변화 34 50대 Gen 0 Gen 8 Gen 9~ 원본 데이터 10% 유지 순수 합성 데이터만 반복 학습 ✕ 붕괴 의미 없는 반복 출력 약 9세대 만에 순수 합성 데이터만으로는 붕괴 — 원본 10% 유지 시 열화 완화
▲ Shumailov et al., Nature(2024) 결과 재해석 — 순수 합성 데이터 반복 학습은 세대를 거듭하며 붕괴하지만 원본 실데이터 10% 유지는 열화를 완화한다 (페블러스 원본 도식, Fig. 재해석)

같은 연구가 붕괴를 막는 처방도 제시했다. 매 세대 원본 실데이터를 10%씩 유지하면 열화가 뚜렷하게 완화됐다. 뒤집어 말하면, 원본 데이터 파이프라인의 지속성이 모델 건전성의 필요조건이라는 뜻이다. 증류가 옮기지 못하는 그 10%가 곧 원본 데이터의 값이다.

증류가 훔치는 것은 능력의 겉모습이고, 훔치지 못하는 것은 원본 데이터가 품은 다양성과 견고함이다. 저비용 복제처럼 보이는 증류는 실은 원본이 치른 비용에 기생한다. 그렇다면 그 원본을 합법적으로 확보하는 데는 얼마가 드는가.

3

합법성의 비용: 같은 성능이면 왜 원본이 더 비싼가

원본 데이터의 가격표는 더 이상 추상이 아니다. Bartz v. Anthropic 사건에서 Anthropic은 LibGen 같은 해적 도서관에서 취득한 저작물 482,460권에 대해 이자를 포함해 15억 달러 이상을 물기로 합의했다. 권당 약 3,000달러다. 이론상 잠재 노출은 700억 달러를 넘길 수 있었다는 분석도 나왔다.

판결의 논리가 특히 중요하다. Alsup 판사는 두 행위를 갈라 판단했다. 저작물로 모델을 학습시키는 행위 자체는 공정이용(fair use)일 수 있지만, 해적 사본을 취득하고 보관한 행위는 침해라는 것이다. 여기서 앞 섹션의 프레임이 법정 언어로 확정된다. 문제는 학습이 아니라 출처였다.

Bartz v. Anthropic — Alsup 판사가 가른 두 행위 ✓ 모델 학습 행위 (저작물로 훈련시키는 것 자체) 공정이용(Fair Use) 으로 인정 가능 ✕ 취득 · 보관 행위 (해적 사본을 모아 저장한 것) 침해(Infringement) 482,460권 · 권당 약 $3,000 vs 문제는 '무엇을 학습했는가'가 아니라 '어디서 얻었는가'였다
▲ Bartz v. Anthropic 판결 논리 재구성 — 학습은 봐줬지만 취득·보관은 침해로 판단했다 (페블러스 원본 도식)

같은 성능을 내는 데이터라면 왜 원본이 증류보다 비싼가. 원본에는 이 법적 청구서가 붙기 때문이다. 정당하게 라이선스한 데이터는 취득 단계에서 비용을 치른다. 반면 증류는 교사의 출력만 받아가며 그 청구서를 우회한다. 다만 우회가 곧 면책은 아니다. 교사 모델의 출처 리스크가 증류 학생에게 전이될 여지를 Bartz가 열어 놓았다.

시장은 이 희소성을 이미 가격에 반영하고 있다. Stanford AI Index 2025에 따르면 대표 크롤 데이터셋 C4에서 이용이 제한된 토큰 비율은 2023년 5~7%에서 2024년 20~33%로 급증했고, 서비스 약관상 크롤이 제한된 토큰은 전체의 45~55%에 이른다. 열린 데이터의 문이 빠르게 닫히는 중이다. 그 사이 라이선싱 실거래가는 News Corp–OpenAI 5년 2.5억 달러, Reddit–Google 연 6,000만 달러 안팎으로 형성됐다. 데이터 라이선싱 특화 시장은 2025년 48억 달러에서 2034년 226억 달러로, 연 18.8% 성장이 전망된다. 라이선싱 표준을 둘러싼 흐름은 콘텐츠 라이선싱 표준(RSL) 리포트에서 이어 읽을 수 있다.

증류의 저비용은 기술의 마법이 아니라 회계의 착시다. 원본 취득의 법적·경제적 청구서를 뒤로 미뤄 둔 것이지 지운 것이 아니다. 그리고 그 청구서는 지금 라이선싱 시장에서 실시간으로 값이 매겨지고 있다.

4

소버린 AI의 증류 딜레마

국가 단위로 시야를 넓히면 병목은 더 또렷해진다. 소버린 AI를 추진하는 나라들은 대부분 같은 곳에 돈을 쏟는다. GPU와 파운데이션 모델이다. CNAS의 Sovereign AI Index는 전 세계 소버린 AI 프로젝트 예산이 어디로 흐르는지를 보여준다. 컴퓨트 인프라가 압도적이고, 국가 데이터 이니셔티브는 맨 끝에 놓여 있다.

소버린 AI 프로젝트 예산 배분 (프로젝트 수 기준, 달러 배분표 아님)

컴퓨트 인프라59%
모델34%
국가 데이터 이니셔티브7%

Source: CNAS Sovereign AI Index (2026). 프로젝트 수 기준 비율로, 직접적인 달러 배분표가 아니다.

한국도 흐름이 다르지 않다. 2026년 AI 컴퓨팅 자원 강화에 2조 805억 원이 배정됐고 전체 AI 예산은 9조 9,000억 원 규모로 늘었지만, 무게 중심은 GPU에 있고 자국 데이터 확보의 규모는 상대적으로 불투명하다. 여기에 구조적 제약이 겹친다. Tony Blair Institute 분석에 따르면 Common Crawl에서 영어가 약 절반을 차지하는 반면 아랍어는 1% 미만이다. 언어와 문화의 데이터 불균형은 비영어권 소버린 AI가 처음부터 안고 출발하는 짐이다.

그래서 역설이 생긴다. 주권을 확보하려면 자국 고품질 데이터가 필요한데, 그것이 부족하니 결국 글로벌 프런티어 모델을 증류해 따라가게 된다. 매체가 전하는 한국의 "국가대표 AI 성능 95% 확보" 같은 목표도 사실상 프런티어를 벤치마크로 삼는다는 뜻이고, 이는 간접적인 추종이자 증류 압력이다. Epoch AI는 현 추세라면 2026년경 고품질 언어 데이터가 고갈될 수 있으며, 고품질 데이터가 소수 행위자에 집중될수록 컴퓨트를 늘리는 효과가 줄어든다고 분석했다. 데이터가 컴퓨트보다 상위의 병목이라는 것이다.

증류로 프런티어를 빠르게 따라잡을 수는 있다. 그러나 증류로 도달한 자리는 언제나 남이 만든 원본 분포의 그림자 안이다. GPU 보조금은 주권을 사지 못한다. 자국의 원본 데이터 없이 증류에만 기대는 소버린 AI는, 독립을 선언하면서 남의 데이터에 종속되는 자기모순에 빠진다.

5

데이터 주권이 곧 AI 주권이다

하나의 사슬이 처음부터 끝까지 이어진다. 위선 논쟁은 데이터 출처 문제로 환원되고, 출처는 증류가 옮기지 못하는 원본 데이터의 가치로 이어지며, 그 가치는 라이선싱 시장에서 가격으로 굳는다. 그리고 그 가격을 감당할 자국 데이터 인프라가 있느냐가 소버린 AI의 성패를 가른다. 결론은 명료하다. 진짜 주권은 GPU의 개수가 아니라 데이터의 계보에서 온다.

하나로 이어지는 논증의 사슬 위선 논쟁 누가 더 나쁜가 › 데이터 출처 문제 어디서 얻었나 › 원본 데이터 의 값 증류가 못 옮기는 것 › 라이선싱 가격 $1.5B~ 시장가 형성 › 소버린 AI 성패 데이터 주권 = AI 주권 진짜 주권은 GPU의 개수가 아니라 데이터의 계보에서 온다
▲ 위선 논쟁에서 소버린 AI 성패까지 — 하나로 이어지는 논증의 사슬 (페블러스 원본 도식)

그렇다면 실무는 어디서 시작하는가. 저비용 증류 모델을 도입하려는 조직이라면 세 가지 장기 리스크를 먼저 계산해야 한다. 첫째, 교사 모델의 출처 리스크가 학생에게 전이될 수 있는 IP·저작권 노출(Bartz가 세운 선례). 둘째, 벤치마크에는 안 잡히는 롱테일과 엣지케이스 성능 열화. 셋째, 자체 데이터로 재학습하고 계보를 관리하지 않으면 세대 반복 끝에 찾아오는 붕괴다.

국가 차원의 처방도 같은 논리 위에 있다. 컴퓨트에 59%, 데이터에 7%인 배분표는 지속 가능하지 않다. 자국어·자국 도메인의 원본 데이터를 수집·라이선싱하고, 그 다양성과 계보를 검증하는 파이프라인이 GPU 다음이 아니라 GPU와 함께 가야 한다. DeepSeek·Qwen을 둘러싼 폐쇄·개방 논쟁의 결이 궁금하다면 Meta·MUSE·Spark와 폐쇄형 모델 글이 인접한 맥락을 제공한다.

Lockett의 질문으로 돌아가자. 증류 공격이 정말 "멍청한" 짓이라면, 그 이유는 규제로 막기 어렵기 때문만이 아니다. 증류는 결국 원본 데이터라는 근원 자산을 빌려 쓸 뿐, 그것을 소유하게 해주지 않는다. 남의 분포를 아무리 잘 베껴도, 그 분포를 처음 만든 데이터가 없으면 다음 세대를 스스로 만들 수 없다. 그것이 증류로는 주권을 살 수 없는 이유다.

Editor's Note

페블러스가 이 사건에 주목하는 이유는 분명하다. "증류가 옮기지 못하는 것 = 원본 데이터의 다양성·큐레이션·계보"라는 이 글의 명제는, 우리가 DataClinic으로 진단하고 AI-Ready Data 인프라로 검증하려는 축과 정확히 겹친다. Nature 2024가 확인한 "원본 10% 처방"은 곧 "원본 데이터 파이프라인의 지속성이 모델 건전성의 필요조건"이라는 뜻이고, 소버린 AI 예산이 데이터에 7%밖에 배분되지 않는 지금이 바로 그 축의 시장이다. 본문은 외부 논거만으로 닫았고, 이 한 단락은 그 논거를 우리 일과 잇기 위한 편집자 주석이다.

R

참고문헌

학술 논문

정책·통계·업계

페블러스 인접 글