Executive Summary
합성 데이터로 모델을 반복 학습시키면 성능이 무너진다는 이야기는 이제 익숙합니다. 페블러스도 그 위험을 오염의 경제학이나 데이터 가격의 문제로 여러 번 다뤘습니다. 그런데 2026년 7월 arXiv에 올라온 한 연구(arXiv:2607.17043)는 그 붕괴의 모양을 다시 그립니다. 붕괴는 전체가 고르게 썩어 가는 균일한 열화가 아니라, 잘하던 스킬은 더 잘하게 되고 못하던 스킬은 더 못하게 되는 실력의 양극화라는 것입니다.
원인은 생성 과정 자체에 있습니다. 모델이 자기 학습용 데이터를 만들 때, 이미 자신 있는 영역에서 문제를 더 쉽게, 더 많이 뽑아냅니다. 그 편향이 세대를 거듭하며 강한 스킬만 살찌우고 약한 스킬은 굶깁니다. 실제로 방향 없이 물량만 늘린 합성 데이터(Self-Instruct)는 5세대 뒤 GSM8K에서 93.79%로, 손대지 않은 기본 모델의 93.63%와 거의 같거나 오히려 못한 자리로 내려앉았습니다.
이 글은 논문의 진단과 처방을 데이터 준비의 언어로 옮깁니다. 처방의 이름은 KITE입니다. 어느 스킬이 약한지 먼저 진단해 그 지점에서 문제를 더 만들고, 그중에서도 답이 하나로 굳지도 산산이 흩어지지도 않는 애매한 사례만 골라 학습시킵니다. 붕괴를 막는 열쇠가 더 깨끗한 데이터를 더 많이 붓는 것이 아니라, 약점을 정확히 겨눈 데이터를 더 적게 고르는 데 있다는 이야기입니다.
93.79%
물량 신화의 함정
무방향 합성(Self-Instruct) 5세대가 기본 모델 93.63%와 거의 같음
+2.8%p
KITE 적용 후
Llama-3-8B GSM8K 78.3%→81.1%, 붕괴 대신 향상
-1.9%p
약점 조준을 뺐을 때
제거 실험 중 가장 큰 손실 — 다양성보다 조준이 중요
9세대
붕괴 없이 지속
반복 학습 9세대까지 단조 증가·포화, 반전 없음
붕괴는 고르게 오지 않는다
모델 붕괴를 이야기할 때 흔히 떠올리는 그림은 완만한 내리막입니다. 합성 데이터로 세대를 거듭해 학습하면 다양성이 좁아지고 편향이 쌓여, 성능이 전반적으로 조금씩 낮아진다는 것입니다. 전체가 균일하게 부식되는 이 그림은 직관적이지만, 이번 연구가 실제 스킬 단위로 들여다본 결과와는 맞지 않았습니다.
연구진은 GSM8K 문제를 요구 스킬별로 쪼갠 뒤, Llama-3-8B-Instruct를 합성 데이터로 미세조정하기 전후의 숙련도를 비교했습니다. 그러자 붕괴가 한 방향으로 고르게 진행되지 않는다는 사실이 드러났습니다. 이미 강했던 스킬은 더 강해지고, 원래 약했던 스킬은 더 약해졌습니다. 논문은 이를 균일한 열화가 아니라 실력의 양극화(polarization of competence)라고 못 박습니다.
| 스킬 | 기본 모델 | 합성 데이터 학습 후 |
|---|---|---|
| 데이터·금융 계산 | 강함 | 더 강해짐 ↑ |
| 화폐·금융 | 강함 | 더 강해짐 ↑ |
| 대수(Algebra) | 약함 | 더 약해짐 ↓ |
| 시간·일정 계산 | 약함 | 더 약해짐 ↓ |
같은 학습을 겪고도 스킬의 운명이 갈립니다. 이 구분이 중요한 이유는 진단과 처방이 완전히 달라지기 때문입니다. 붕괴가 균일하다면 대책은 오염을 덜어 내는 것으로 충분합니다. 그러나 붕괴가 부익부 빈익빈이라면, 아무리 데이터를 깨끗이 걸러도 약한 스킬은 계속 굶은 채로 굳어집니다. 문제는 청결도가 아니라 분배입니다.
핵심 관찰: 합성 데이터 반복 학습의 위험은 전체가 서서히 나빠지는 것이 아니라, 잘하는 건 계속 잘하고 못하는 건 계속 못하는 채로 격차가 벌어지는 것입니다. 평균 점수만 보면 이 양극화는 잘 보이지 않습니다.
강자가 더 강해지는 이유
왜 한쪽으로만 쏠릴까요. 답은 데이터가 만들어지는 방식에 있습니다. 모델이 자기 자신에게 먹일 문제와 답을 생성할 때, 생성은 확률이 높은 쪽으로 흐릅니다. 확률이 높다는 건 모델이 그만큼 자신 있다는 뜻이고, 자신 있는 영역은 곧 이미 잘하는 영역입니다. 그래서 아무 제약 없이 생성하면 잘하는 스킬의 문제가 더 쉽게, 더 자주 뽑혀 나옵니다.
그다음은 자기강화 루프입니다. 강한 스킬은 더 많은 학습 신호를 받아 더 강해지고, 약한 스킬은 애초에 데이터가 적게 생성되니 학습 신호가 부족한 채로 더 약해집니다. 진본과 합성의 통계가 어긋나는 오염과는 결이 다른 문제입니다. 데이터가 더러워서가 아니라, 데이터를 뽑는 손 자체가 강한 쪽으로 기울어 있어서 벌어지는 표본 편향입니다.
이 진단을 눈대중이 아니라 수치로 붙잡기 위해, 연구진은 뜻밖의 도구를 빌려 옵니다. 학생이 어떤 개념을 익혔는지 문항 반응에서 역추정하는 교육측정학의 인지진단모델 DINA입니다. 문제마다 어떤 스킬을 요구하는지 표시해 두면, 세대가 지날수록 모델의 스킬별 숙달도가 어떻게 오르내리는지 추적할 수 있습니다. AI의 약점을 사람 시험 채점하듯 진단한 셈입니다.
물량 신화의 반증: 방향 없이 다양하게만 만든 Self-Instruct 데이터는 5세대 뒤 GSM8K에서 93.79%에 그쳐, 손대지 않은 기본 모델의 93.63%와 사실상 같은 자리였습니다. 많이 만들면 는다는 통념은, 무엇을 만드는지가 빠지면 성립하지 않습니다.
약점을 정조준하는 처방
논문은 진단에서 멈추지 않고 처방을 냅니다. 이름은 KITE(Knowledge-boundary Instruction Tuning via Exploration)입니다. 발상은 단순합니다. 붕괴가 약한 스킬을 굶기는 데서 온다면, 데이터를 만들 때 일부러 그 약한 지점을 겨누면 됩니다. 두 단계로 나뉩니다.
3.1약한 지점에서 더 만들기
먼저 DINA 진단으로 숙달도가 낮은 스킬을 골라냅니다. 그다음 생성이 모델의 안전지대 밖으로 나가도록 밀어 줍니다. 단순히 생성 온도를 높이는 것만으로는 부족하다고 보고, 토큰의 확률 순위를 이용해 평소라면 잘 뽑히지 않았을 하위권 선택지를 부드럽게 끌어올립니다. 그 결과 모델은 잘하는 문제 대신 약한 영역의 문제를 더 만들게 됩니다.
3.2애매한 사례만 골라내기
약점 영역에서 많이 만들었다고 다 쓰는 것은 아닙니다. 후보를 불확실성으로 세 구간으로 나눕니다. 답이 하나로 쉽게 수렴하면 이미 아는 문제라 배울 게 적습니다. 답이 산산이 흩어지면 모델의 지식 경계 바깥이라 노이즈에 가깝습니다. 그럴듯한 답 여럿이 갈리는 중간 구간, 곧 지식의 경계에 걸친 애매한 사례만 학습에 씁니다. 실력이 자라는 자리는 늘 아는 것과 모르는 것의 경계입니다.
이 선별이 얼마나 매몰찬지는 숫자로 드러납니다. 실제 실험에서 KITE는 세대마다 후보를 2,000개씩 만든 뒤 그중 500개만 남겨 학습에 썼습니다. 넷 중 셋을 버리는 이 비율이, 붕괴를 막은 힘이 더 많이 붓는 데 있지 않고 무엇을 남길지 고르는 데 있었음을 그대로 보여 줍니다.
어느 단계가 성능을 좌우할까요. 연구진이 구성 요소를 하나씩 빼 본 제거 실험이 답을 줍니다. 약점 프로파일링을 제거했을 때 손실이 -1.9%p로 가장 컸고, 순위 기반 노이즈 주입을 뺀 경우는 -0.3%p에 그쳤습니다. 어디를 겨눌지가, 얼마나 다양하게 만들지보다 훨씬 크게 작동했습니다.
처방의 요지: KITE는 더 깨끗한 데이터를 더 많이 붓는 방식이 아닙니다. 약점을 진단해 그곳에서 문제를 만들고, 그중 배울 값이 있는 애매한 사례만 남기는 2단 필터입니다. 붕괴를 막은 힘은 물량이 아니라 조준이었습니다.
9세대까지 무너지지 않았다
처방이 실제로 붕괴를 막았는지가 남은 질문입니다. 다섯 개 모델과 네 개 벤치마크(GSM8K·MMLU-Pro·MATH·GPQA)에서, KITE로 반복 학습한 모델은 세대를 거듭할수록 성능이 오히려 올라갔습니다. Qwen-3-4B는 5세대 뒤 GSM8K 95.04%로 인간 데이터만 쓴 경우(94.28%)까지 넘어섰고, Llama-3-8B는 78.32%에서 81.12%로 2.8%p 올랐습니다.
| 학습 방식 (Qwen-3-4B, GSM8K, 5세대) | 정확도 |
|---|---|
| 기본 모델 (학습 전) | 93.63% |
| Self-Instruct (무방향 합성) | 93.79% |
| 인간 데이터만 | 94.28% |
| KITE (약점 조준 + 경계 큐레이션) | 95.04% |
더 눈여겨볼 대목은 장기 안정성입니다. 반복 학습을 9세대까지 밀어붙인 실험에서도 성능은 단조롭게 오르다 완만히 포화했을 뿐, 어느 세대에서도 무너지거나 뒤집히지 않았습니다. 붕괴가 세대 누적의 필연이 아니라, 데이터를 어떻게 고르느냐에 달린 선택의 문제였다는 뜻입니다.
학습에 쓰지 않은 낯선 벤치마크(OlymMATH·AIME)에서도 향상이 이어졌습니다. 벤치마크 분포를 외워 점수만 올린 것이 아니라 추론력 자체가 자랐다는 근거입니다. 다만 논문도 한계를 숨기지 않습니다. 모든 방식이 정답 검증에는 더 강한 외부 모델(gpt-5-mini)의 손을 빌렸으므로, 완전히 닫힌 순수 자가학습은 아직 아닙니다.
결과가 말하는 것: 합성 데이터 반복 학습이 반드시 붕괴로 끝나는 것은 아닙니다. 약점을 겨눈 데이터를 골라 쓰면 9세대까지도 성능이 오릅니다. 붕괴와 향상을 가른 것은 데이터의 양이 아니라 조준의 정확도였습니다.
청결도에서 조준으로
이 연구를 데이터 실무의 언어로 옮기면, 준비 단계에서 던지는 질문이 바뀝니다. 지금까지 합성 데이터를 다룰 때 우리가 가장 자주 물은 것은 얼마나 깨끗한가였습니다. 오염되지 않았는가, 진본과 통계가 어긋나지 않는가. 그런데 붕괴가 양극화라면, 청결도만으로는 약한 스킬이 굶는 문제를 막지 못합니다. 물어야 할 것은 이 데이터가 어느 약점을 메우는가입니다.
조준이 답이라면, 다음 병목은 곧바로 드러납니다. 무엇이 약점인지를 신뢰할 수 있게 판별하는 일입니다. 이 논문조차 스킬 태깅을 사람 전문가가 아니라 LLM이 매긴 라벨에 기대고, 저자들 스스로 그 한계를 인정합니다. 조준선을 어디에 그을지가 부정확하면, 아무리 정교한 생성과 큐레이션도 엉뚱한 곳을 겨눕니다. 약점의 정의 자체가 다음 신뢰 문제가 됩니다.
페블러스가 말해 온 AI-Ready Data는 여기서 한 겹 더 구체적인 요구가 됩니다. 데이터가 깨끗한지뿐 아니라, 그 데이터가 모델의 어떤 빈자리를 겨누고 있는지, 그리고 그 빈자리를 짚은 라벨이 얼마나 믿을 만한지까지 포함해야 합니다. 조준의 시대에는 데이터의 대표성과 라벨의 신뢰도가 청결도만큼 중요한 축이 됩니다.
한 줄 요약: 합성 데이터 반복 학습의 진짜 위험은 전체가 서서히 썩는 것이 아니라, 잘하는 건 계속 잘하고 못하는 건 계속 못하는 채로 굳는 것입니다. 그렇다면 데이터 준비의 질문은 얼마나 깨끗한가에서 어느 약점을 메우는가로, 그리고 그 약점을 무엇으로 판별하는가로 옮겨 갑니다.
참고문헌
- 1.Luo, X., Huang, Y., Guo, K., He, P., Zou, C., Hua, T., & Zhang, X. (2026). "Learning from Synthetic Data without Model Collapse in Iterative Instruction Tuning." arXiv:2607.17043.
- 2.de la Torre, J. (2009). "DINA Model and Parameter Estimation: A Didactic." Journal of Educational and Behavioral Statistics, 34(1), 115–130.
- 3.Wang, Y., Kordi, Y., Mishra, S., Liu, A., Smith, N. A., Khashabi, D., & Hajishirzi, H. (2022). "Self-Instruct: Aligning Language Models with Self-Generated Instructions." arXiv:2212.10560.