Executive Summary

1. 자기 증류란 무엇인가

지식 증류(Knowledge Distillation)는 "교사 모델"이 "학생 모델"을 가르치는 구조다. 대형 모델이 만든 결과물을 소형 모델이 따라 배운다. 자기 증류(Self-Distillation)는 이 구조에서 교사와 학생을 동일한 모델로 놓는다. 외부의 도움 없이, 모델이 자기 자신의 출력을 교재 삼아 스스로 나아지는 것이다.

비유하자면, 학생이 자기 시험지를 다시 풀며 공부하는 것과 같다. 처음 풀 때 틀린 답도 있고 맞은 답도 있다. 그런데 여러 번의 시험지를 모아서 공부하면, 자주 나타나는 정답 패턴이 강화되고 드물게 나타나는 오류는 희석된다. 이것이 자기 증류의 핵심 메커니즘이다.

자기 증류가 주목받는 이유는 명확하다. 외부 레이블링 비용이 제로이고, 교사 모델에 대한 접근 권한도 필요 없다. 오픈 소스 모델이라면 누구나 시도할 수 있다. 2026년 초, 이 단순한 아이디어가 코드 생성 AI에서 놀라운 결과를 보여주기 시작했다.

2. 작동 원리 — 정밀도와 탐색의 딜레마

LLM이 코드를 생성할 때, 매 토큰마다 선택의 기로에 선다. 어떤 지점에서는 하나의 정확한 토큰만이 올바르고("잠금(Lock) 맥락"), 다른 지점에서는 여러 유효한 토큰 중 어느 것이든 괜찮다("분기(Fork) 맥락"). 문제는 LLM이 이 두 맥락을 하나의 고정된 온도(temperature)로 처리한다는 것이다.

정밀도-탐색 충돌

잠금 맥락에서는 낮은 온도가 필요하다 — 하나의 정답 토큰을 확실하게 선택해야 하므로. 분기 맥락에서는 높은 온도가 필요하다 — 다양한 유효 경로를 골고루 탐색해야 하므로. 하나의 고정 온도는 이 두 요구를 동시에 만족시킬 수 없다. SSD 논문은 이를 "정밀도-탐색 충돌(precision-exploration conflict)"이라 명명했다.

자기 증류가 이 충돌을 해소하는 메커니즘은 다음과 같다. 여러 번 샘플링하면, 잠금 맥락에서는 정답 토큰이 반복적으로 등장하여 확률이 강화된다. 분기 맥락에서는 다양한 유효 토큰이 골고루 등장하여 탐색 공간이 보존된다. 결과적으로, 자기 증류된 모델은 맥락에 따라 "적응적 온도"를 갖게 된다. SSD 논문은 이 효과적 온도를 T_eff ≈ 1.2로 측정했다 — 잠금 맥락에서는 더 낮게, 분기 맥락에서는 더 높게 작동하는 것이다.

Hacker News에서 585포인트, 172개 댓글을 기록한 이 논문에 대해, 한 개발자는 "수면 중 기억 강화"에 비유했다. 새로운 것을 배우는 것이 아니라, 이미 아는 것에 더 잘 접근하게 되는 것이다. 이 비유는 SSD의 핵심 실험 — 62%가 추출 가능한 코드를 포함하지 않는 "나쁜 데이터"로도 +5.7pp 향상이 관찰된 것 — 과 정확히 들어맞는다.

3. 코드 생성 AI에서의 돌파구

SSD: 단순함의 위력

Apple 연구팀의 SSD(Embarrassingly Simple Self-Distillation) 결과는 모델 규모와 난이도 양쪽에서 일관된 개선을 보여준다. Qwen3-30B 모델에서 LiveCodeBench v6 기준 pass@1이 42.4%에서 55.3%로 +12.9pp 상승했으며, 이는 상대적으로 +30.4%에 해당한다.

어려운 문제일수록 효과가 크다는 점이 주목할 만하다. 쉬운 문제(Easy)에서는 이미 높은 성능을 보이므로 개선 여지가 적지만, 난이도 Hard에서는 pass@5가 +23.0pp라는 극적인 향상을 보인다. 이는 자기 증류가 단순 암기가 아니라 구조적 문제 해결 역량을 강화한다는 근거다.

SCoder: 소규모 모델의 부트스트래핑

EMNLP 2025에서 발표된 SCoder는 반복적 자기 증류(iterative self-distillation)를 통해 소규모 모델을 데이터 합성기(data synthesizer)로 부트스트래핑한다. 60K개의 자기 증류 데이터만으로 90K개 이상의 독점(proprietary) 데이터를 능가하는 결과를 보였으며, HumanEval 80.5, MBPP 81.0을 달성했다. 더 적은 데이터로 더 나은 결과를 얻은 것이다.

SCoder의 핵심 통찰은 자기 증류가 "데이터의 양"이 아니라 "데이터의 분포"를 최적화한다는 것이다. 모델이 자기 역량에 맞는 난이도의 문제를 스스로 생성하고 해결하므로, 학습에 가장 효과적인 데이터 분포가 자연스럽게 형성된다.

OPSD: 온-폴리시 자기 증류

On-Policy Self-Distillation(OPSD)은 보상 모델 없이 모델 자체의 추론 궤적을 증류하는 접근이다. 기존 오프-폴리시 증류가 고정된 교사 데이터에 의존하는 반면, OPSD는 학습 중인 모델의 현재 상태에서 지속적으로 새로운 궤적을 생성한다. 이는 자기 증류의 "실시간" 버전이라 할 수 있으며, 학습 효율성을 높이면서도 분포 이탈(distribution shift)을 줄인다.

4. 어두운 면 — 모델 붕괴, 추론 저하, 오류 증폭

자기 증류의 성공 사례 이면에는 치명적인 실패 사례가 존재한다. 동일한 기법이 과제 유형에 따라 극적으로 다른 결과를 낳는다는 사실은 이 기술의 본질적 위험을 드러낸다.

수학 추론의 붕괴

Microsoft Research(2026)는 자기 증류가 수학 추론 과제에서 AIME24 성능을 54.79에서 20.21로 63.1% 급락시키는 현상을 보고했다. 코드 생성에서는 다양한 정답 경로가 허용되지만, 수학 추론에서는 단일 정답 경로의 정밀한 추적이 필요하다. 자기 증류가 강화하는 "빈번한 패턴"이 정답 경로와 일치하지 않을 때, 성능은 향상이 아닌 파괴적 저하로 이어진다.

인식론적 언어화의 억제

MS Research가 밝힌 핵심 메커니즘은 인식론적 토큰(epistemic tokens)의 소멸이다. 자기 증류 전 평균 182.5개였던 불확실성 표현 토큰이, Solution-Guided 증류 후 8.8개로 95.2% 감소했다. 응답 길이도 13,054 토큰에서 1,873 토큰으로 85.7% 단축되었다. 모델이 "모른다"고 표현하는 능력이 소거된 것이다.

이것은 단순한 성능 저하가 아니다. 모델이 확신 없는 영역에서도 확신에 찬 답을 내놓게 되면서, 알려진 과제에서는 빠른 응답이 가능하지만 새로운 유형의 문제에서는 치명적으로 실패한다. 자기 증류는 정답 패턴만 강화하는 것이 아니라, "적절한 불확실성의 보존"이 전제되어야 안전하다.

모델 붕괴: 구조적 위험

Shumailov et al.(Nature, 2024)은 모델이 자기 생성 데이터로 반복 학습하면, 원본 분포의 꼬리(tail) — 희귀하지만 중요한 패턴 — 가 비가역적으로 소멸한다는 것을 입증했다. 합성 데이터 비율이 30~50%를 초과하면 성능과 다양성 모두 저하되기 시작한다. 500세대 반복 후에는 분포가 원래의 형태를 완전히 잃는다.

그러나 회피 전략도 존재한다. Gerstgrasser et al.은 데이터를 "교체(Replace)"하면 붕괴가 불가피하지만, "축적(Accumulate)" 전략 — 이전 세대 데이터를 보존하면서 새 데이터를 추가하는 방식 — 을 사용하면 오류에 유한 상한(finite upper bound)이 존재함을 수학적으로 증명했다. 또한 10%의 실제 데이터 혼합만으로도 붕괴 속도가 감소한다. SSD가 1회 반복에서 성공한 것은 이 위험을 우회한 것이지, 해소한 것이 아니다.

5. 데이터 품질의 역할 — 자기 증류의 생사를 가르는 변수

SSD 논문의 "62% 노이즈에서도 +5.7pp" 결과는 역설적으로 데이터 품질의 중요성을 강화한다. 노이즈가 아예 해롭지 않은 것이 아니라, 최적 조건(정상 샘플링) 대비 7.2pp의 기회비용을 발생시킨다. 데이터 품질이 완벽하지 않아도 작동하지만, 더 좋은 데이터는 더 큰 효과를 낳는다.

더 중요한 것은 "정답률"이 아니라 "분포의 형태"다. MS Research가 보여준 것처럼, 과제 범위(task coverage)의 다양성이 부족하면 자기 증류는 오히려 독이 된다. 코드 생성에서 성공하고 수학 추론에서 실패한 차이는, 전자의 학습 데이터가 다양한 정답 경로를 포함하고 후자의 데이터가 단일 경로에 집중되어 있었기 때문이다.

모델 붕괴 회피의 3가지 조건

이 세 가지 조건은 자기 증류의 안전한 운용을 위한 최소 요건이다. 특히 Shumailov et al.이 경고한 "합성 데이터 30~50% 임계점"은 모든 자기 증류 파이프라인에서 모니터링해야 할 핵심 지표다. 이 임계점을 넘는 순간, 성능 향상은 멈추고 붕괴가 시작된다.

6. 산업 지형과 미래 전망

빅테크의 자기 증류 경쟁

자기 증류와 합성 데이터는 이미 빅테크의 핵심 파이프라인에 통합되어 있다. ByteDance의 Seed-Coder는 6조 토큰 규모의 코드 데이터를 모델 자체가 큐레이션하고, Alibaba의 Qwen2.5-Coder는 합성 데이터를 5대 학습 데이터 유형의 하나로 명시적으로 포함한다. GitHub Copilot은 2026년 4월부터 사용자 상호작용 데이터를 모델 학습에 활용하기 시작했으며, Fortune 100 기업의 90%가 Copilot을 채택하고 있다.

그러나 양적 확장의 이면에는 품질 문제가 잠재한다. GitClear의 2.11억 변경 라인 분석에 따르면, AI 생성 코드의 클론(copy-paste) 비율이 4배 증가하고, 2주 내 수정이 필요한 비율이 84% 높으며, 미검토 코드의 버그 밀도가 23% 높다. AI 코딩 생산성이 55% 향상되었다는 GitHub 연구(4,800명 대상)의 이면이다. 품질 검증 없는 자기 증류의 위험이 실제로 발현되고 있는 셈이다.

합성데이터 시장의 폭발적 성장

복수 시장조사 기관의 전망을 종합하면, 합성데이터 생성 시장은 2030년까지 $1.8B~$3.7B 규모로 성장할 것으로 예상된다(CAGR 35~46%). Gartner는 2030년 AI 학습 이미지와 비디오의 95% 이상이 합성 데이터가 될 것으로 전망한다. 자기 증류는 이 합성데이터 생태계의 가장 극단적인 형태 — 모델이 스스로 데이터를 만들고 소비하는 완전한 폐쇄 루프 — 로서, 시장 성장의 핵심 동력이자 동시에 최대의 품질 위험이다.

규제 환경의 변화

규제 환경도 자기 증류의 투명성을 요구하기 시작했다. 캘리포니아 AB 2013(2026년 1월 1일 발효)은 생성 AI 개발자에게 "합성 데이터 사용 여부 및 기능적 목적"의 웹 공개를 의무화했으며, EU AI Act 제53조는 학습 콘텐츠의 상세 요약 공개를 요구한다. 자기 증류로 생성된 학습 데이터도 이 규정의 적용 대상이다.

한국에서도 K-AI 프로젝트(총 328억원)가 진행 중이며, 크라우드웍스 등 합성 데이터 전문 기업이 성장하고 있다. 데이터 품질과 투명성에 대한 제도적 요구가 글로벌하게 강화되고 있으며, 자기 증류 파이프라인의 품질 관리와 문서화는 선택이 아닌 필수가 되어가고 있다.

7. 페블러스가 이 연구에 주목하는 이유

자기 증류는 합성데이터 전략의 가장 극단적인 형태다. 모델이 스스로 만든 데이터로 자신을 개선하는 완전한 폐쇄 루프. 이 루프의 안전성은 전적으로 초기 데이터의 품질과 합성 과정에서의 분포 모니터링에 달려 있다. 그리고 이것이 페블러스의 AI-Ready Data 비전과 직결되는 지점이다.

자기 증류 루프의 3가지 위험

자기 증류 파이프라인에는 세 가지 구조적 위험이 존재한다. 첫째, 모델 붕괴 — 반복 증류 시 분포의 꼬리가 소멸하여 다양성이 영구적으로 훼손된다. 둘째, 오류 증폭 — 초기 데이터의 편향이 반복될수록 기하급수적으로 증폭된다. 셋째, 분포 편향 — 합성 데이터가 특정 패턴에 과도하게 집중되어 일반화 역량을 잃는다. MS Research가 보고한 AIME24 -63.1% 급락은 이 세 가지 위험이 동시에 발현된 사례다.

DataClinic: 루프의 입구 안전장치

DataClinic의 3단계 진단 체계(L1/L2/L3)는 자기 증류 루프의 "입구 안전장치"로 기능할 수 있다. L1은 클래스 분포 균형을 점검하고, L2는 특징 공간 커버리지를 분석하며, L3는 도메인 특화 품질 기준을 적용한다. 이 진단이 자기 증류의 시작점에서 수행되면, Shumailov et al.이 경고한 "합성 데이터 30~50% 임계점"을 사전에 관리할 수 있다.

DataGreenhouse: 합성 데이터의 품질 게이트

DataGreenhouse는 합성 데이터 생성 파이프라인에서 품질 기준 — 분포 다양성, 꼬리 보존, 노이즈 비율 — 을 적용하는 "품질 게이트"다. 자기 증류가 생성한 합성 데이터가 다음 학습 사이클에 투입되기 전에, 분포 건전성을 검증하는 중간 관문 역할을 한다.

이 포지셔닝의 차별점은 DataClinic이 단순한 데이터 라벨링 품질이 아닌 "분포 수준의 건전성"을 진단한다는 점이다. 자기 증류의 핵심 위험이 분포 붕괴인 만큼, 분포 진단 역량이 곧 자기 증류 안전장치의 핵심 역량이다. 자기 증류 루프가 산업 전반으로 확산될수록, 이 안전장치의 가치는 비례하여 커질 것이다.

자주 묻는 질문

참고문헌

1. Zhang, R. et al. (2026). "Embarrassingly Simple Self-Distillation Improves Code Generation." arXiv:2604.01193
2. Kim, J. et al. (2026). "Why Does Self-Distillation (Sometimes) Degrade the Reasoning Capability of LLMs?" arXiv:2603.24472
3. Shumailov, I. et al. (2024). "AI Models Collapse When Trained on Recursively Generated Data." Nature 631, 755–759.
4. Gerstgrasser, M. et al. (2024). "Is Model Collapse Inevitable?" arXiv:2404.01413
5. Chen, Z. et al. (2024). "Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models (SPIN)." arXiv:2401.01335
6. Zelikman, E. et al. (2022). "STaR: Bootstrapping Reasoning With Reasoning." arXiv:2203.14465
7. Zhang et al. (2025). "SCoder: Iterative Self-Distillation for Bootstrapping Small-Scale Data Synthesizers." EMNLP 2025
8. Hacker News Discussion (585pts, 172 comments). news.ycombinator.com
9. ByteDance. "Seed-Coder: Let the Code Model Curate Data for Itself."
10. Alibaba. Qwen2.5-Coder Technical Report.
11. GitHub Copilot Policy Change (effective 2026.04.24).
12. GitClear (2024). "Coding on Copilot: 2023 Data Suggests Downward Pressure on Code Quality." 211M lines analyzed.
13. Bloomberg (2024.05). "Microsoft, Google and Meta Bet on Fake Data to Train AI Models."
14. Mordor Intelligence — Synthetic Data Generation Market ($5.1B 2025, CAGR 39.4%).
15. Grand View Research — Synthetic Data Generation Market ($1.79B 2030, CAGR 35.3%).
16. MarketsandMarkets — Synthetic Data Generation Market ($2.1B 2028, CAGR 45.7%).
17. Gartner — AI Training Data Outlook (95%+ synthetic images/video by 2030).
18. McKinsey — AI Coding Productivity Study (4,500 developers, 46% reduction in routine coding).
19. GitHub — Copilot Productivity Study (4,800 developers, 55% improvement).
20. California AB 2013 (effective 2026.01.01) — Synthetic Data Disclosure Mandate.
21. EU AI Act Article 53(1)(d) — Training Content Summary Disclosure.