Executive Summary

주요 수치

첫 카드는 덮는 범위가 성적으로 이어진 정도이고, 나머지 셋은 군집 선별을 실제로 썼을 때의 이득과 한계, 비용이다.

출처: arXiv 2611.07323(2026년 11월 5일) · 다중 도메인 수치는 Tülu 3 묶음에 OLMo 2 7B 기준

데이터 선별은 전부 학습시킬 여력이 없을 때 가치가 높은 예제부터 고르자는 발상이고, 가치의 대리 지표로 오래 쓰인 것이 난이도다. 쉬운 예제는 모델이 이미 아는 것이라 배울 게 적고 어려운 예제라야 정보가 많다는 직관이며, 작은 분류 모델에서는 실제로 효과가 확인됐다. 연구진은 이 직관이 큰 언어 모델의 미세조정에서도 통하는지를 보려고 널리 쓰이는 난이도 점수 다섯 가지를 한자리에 모아 같은 조건으로 돌렸다.

다섯 가지는 무엇을 재는지가 조금씩 다르고, 점수를 얻는 데 드는 비용도 같지 않다.

시험대는 Llama 3 8B와 OLMo 2 7B 두 모델, 그리고 미세조정으로 성적이 뚜렷하게 오르는 생성형 과제 세 가지였다. 상식 추론을 묻는 CommonsenseQA, 이야기 맥락을 읽는 CosmosQA, 사회적 상황을 판단하는 Social IQa다. 전체 학습 데이터의 1%부터 75%까지 선별 비율을 바꿔 가며 다섯 점수와 무작위를 같은 자리에서 견줬다.

결과를 논문은 한 문장으로 적는다. 무작위 기준선이 선별 비율과 데이터셋 전반에서 일관되게 경쟁력 있었고 가장 좋은 방법인 경우도 잦았다는 것이다. 난이도 점수 중에서는 그래디언트 분산이 평균 정확도가 가장 높았지만, 그 최고 성적도 무작위를 넘어서지는 못했다. 비용까지 함께 보면 사정이 더 불편해진다. 퍼플렉시티를 빼면 나머지 넷은 점수를 얻기 위해 전체 데이터로 모델을 한 번 학습시켜야 하고, PVI는 두 번 돌려야 한다. 데이터를 줄여 아끼려던 계산량을 고르는 단계에서 먼저 쓰는 셈이다.

연구진의 가설은 간단하다. 어려운 사례만 배타적으로 앞세워 고르면 입력 데이터의 제한된 공간만 담게 되고, 그래서 덮는 범위가 낮아진다는 것이다. 난이도 점수는 예제 하나하나에 매겨지는 값이라 상위권을 잘라 모으면 비슷한 성격의 예제가 한데 몰리기 쉽다. 반대로 무작위는 아무것도 재지 않는 대신, 뽑은 묶음의 모양이 원래 데이터의 모양을 닮는다.

가설을 검증하려면 덮는 범위를 숫자로 만들어야 한다. 연구진이 쓴 방법은 이렇다. 먼저 전체 학습 데이터를 모델 임베딩으로 군집화해 예제마다 군집 번호를 붙인다. 그러면 전체 데이터의 군집 번호 분포와 골라낸 부분집합의 군집 번호 분포, 두 개가 생긴다. 이 둘이 얼마나 다른지를 옌센-섀넌 발산으로 재면 값이 작을수록 부분집합이 전체를 고르게 덮었다는 뜻이 된다.

이렇게 잰 거리와 실제 미세조정 성적을 맞대자 둘의 관계가 분명하게 나타났다. 모델 둘과 과제 셋을 짝지은 여섯 조합 전부에서 스피어만 상관계수가 음수였고, 값은 −0.71에서 −0.90 사이에 들어왔다. 전체 분포에서 덜 벗어난 묶음일수록 성적이 높았다는 뜻이다. Social IQa와 OLMo 2 7B를 짝지은 조합이 −0.90으로 가장 강했다.

덮는 범위가 중요하다면 그것을 직접 겨냥한 선별법이 잘해야 한다. 연구진이 만든 방법에는 새로운 모형이나 추가 학습이 없다. 미세조정할 바로 그 모델에 학습 데이터를 한 번 통과시켜 마지막 은닉층의 마지막 토큰 벡터를 꺼내고, 그 벡터를 k-평균으로 군집화한 다음, 군집마다 예제를 하나씩 무작위로 뽑는다. 군집 수는 뽑으려는 비율과 전체 예제 수의 곱을 100으로 나눈 값으로 정한다. 전체 10만 건에서 5%를 고른다면 군집 5,000개를 만들고 각 군집에서 하나씩 가져오는 식이다.

이 설계에서 무작위성은 사라지지 않는다. 군집 안에서는 여전히 무작위로 뽑는다. 달라지는 것은 뽑기 전에 입력 공간을 칸으로 나눠 두고, 어느 칸도 비우지 않는다는 조건뿐이다. 아래 도식은 같은 입력 공간에서 세 방식이 무엇을 집어 가는지를 나란히 놓은 것이다.

단일 과제에서 이 방법이 무작위를 눌렀는지는 따로 봐야 한다. 논문의 답은 조심스럽다. 세 과제에서 군집 선별은 무작위와 비슷한 수준에 머물렀고 앞선 경우는 가끔이었다. 달라진 것은 성적의 모양이다. 뽑는 비율을 올릴수록 성적이 거의 언제나 함께 올라갔고, 데이터 25%만으로 전부 학습한 모델과 비슷한 자리에 닿았다. 연구진은 이 대목에서도 같은 문장을 다시 적는다. 무작위가 더 정교한 방법에 체계적으로 밀리는 일은 드물다는 것이다.

비용 면에서도 이 방법은 가볍다. 학습 데이터를 한 번 통과시키는 순전파만 있으면 되므로, 전체 데이터로 모델을 학습시켜야 하는 난이도 점수들과는 자릿수가 다르다. 군집 수를 2의 거듭제곱으로 바꿔 가며 시험했을 때도 성능이 안정적이었다고 논문은 적는다. 그래도 공짜는 아니다. 아무것도 계산하지 않는 무작위에 견주면 분명한 추가 비용이 든다고 연구진 스스로 한계 절에 밝혔다.

단일 과제에서 무작위가 강했던 이유는 뽑은 묶음이 저절로 전체를 닮기 때문이다. 그런데 데이터가 한 종류가 아니라면 사정이 달라진다. 연구진이 두 번째 무대로 고른 Tülu 3는 OLMo 2 7B를 지시 미세조정할 때 쓰인 혼합 데이터셋으로, 성격이 다른 하위 과제가 여럿 섞여 있다. 이런 데이터에서는 무작위로 뽑아도 어떤 도메인은 과하게 들어오고 어떤 도메인은 거의 빠지는 일이 생긴다.

OLMo 2 7B를 Tülu 3로 미세조정하고 세 벤치마크로 잰 결과가 아래 표다. 괄호 안은 전체 데이터 가운데 실제로 쓴 비율이다.

논문 Table 2는 1·5·10·15·25% 다섯 비율을 싣는다. 이 표에는 그중 5%와 25%만 옮겼고, 1% 칸과 10% 칸의 수치는 아래 본문에 적는다. 출처: arXiv 2611.07323

MMLU와 BBH에서 선별 비율을 바꿔 가도 전부 학습한 성적을 일관되게 따라잡거나 넘은 방법은 군집 선별뿐이었다고 논문은 적는다. 표에 옮기지 않은 10% 칸이 그 말이 가장 잘 드러나는 자리다. 군집 선별은 MMLU 62.7점, BBH 49.6점으로 두 벤치마크 모두에서 전부 학습한 성적을 넘겼고, 같은 비율의 무작위는 61.6점과 48.5점이었다. 표의 BBH 5% 칸처럼 무작위가 기준선을 넘긴 자리도 있지만, 비율을 옮기면 유지되지 않았다.

난이도 점수들이 가장 크게 무너진 자리는 데이터를 1%만 쓰는 극단이다. BBH에서 변동성은 7.5점, 퍼플렉시티는 11.5점으로 주저앉았고 HumanEval에서는 퍼플렉시티가 6.5점까지 떨어졌다. 같은 자리에서 무작위는 47.4점과 30.8점, 군집 선별은 48.6점과 30.5점이었다. 쓸 수 있는 양이 적을수록 어디를 비우지 않느냐가 더 크게 작용한다.

모든 칸에서 이긴 것은 아니다. HumanEval 5%에서는 군집 선별이 31.8점으로 무작위의 36.5점에 뒤졌고, 25%로 올라가야 40.2점으로 역전했다. 세 벤치마크 가운데 HumanEval만은 어떤 선별법도 전부 학습한 45.9점에 닿지 못했다. 코드 생성처럼 특정 능력이 걸린 평가에서는 고르게 덮는 것만으로 메워지지 않는 몫이 남는다는 뜻이다.

이 논문만 난이도에 회의적인 것은 아니다. 올해 ICML에 실린 다른 연구는 보편적으로 최적인 난이도란 없고 최적점이 데이터 예산을 따라 움직인다고 보고했다. 예산이 커질수록 최적 난이도가 어려운 쪽으로 옮겨 간다는 것이니, 예산이 적을 때는 쉬운 쪽이 낫다는 말도 된다. 예산이 가장 빠듯한 칸에서 난이도 점수들이 바닥을 친 이 논문의 장면과 겹치는 방향이다. 반대쪽 보고도 있다. 7월에 나온 PPL-Factory는 퍼플렉시티를 과제 성격과 예산에 맞춰 쓰면 데이터 10%로 GSM8K 정확도를 전부 학습보다 0.9점, MATH를 4.8점 끌어올렸다고 적었다. 난이도라는 재료가 쓸모없다기보다, 그 점수가 무엇을 재는지와 얼마를 쓸지가 함께 정해져야 한다는 쪽에 가깝다.

이 논문에서 가져갈 것은 군집 선별이라는 레시피가 아니라, 선별 기준을 판정한 방식이다. 연구진은 좋은 데이터가 무엇인지 논증하지 않았다. 기준마다 묶음을 만들어 실제로 학습시키고, 같은 비율의 무작위와 같은 자리에서 성적을 비교했을 뿐이다. 대조군이 없었다면 다섯 가지 점수는 저마다 그럴듯한 설명을 단 채 계속 쓰였을 것이다.

데이터를 줄여 비용을 아끼려는 팀은 대개 선별 기준을 하나 정해 두고 파이프라인에 박아 둔다. 그 기준이 난이도 계열이라면 이 논문이 묻는 질문이 그대로 자기 쪽으로 돌아온다. 확인할 것은 세 가지다.

• • 우리 기준은 무엇을 재고 있나 — 손실이 큰 예제, 모델이 헷갈린 예제, 사람이 어렵다고 라벨한 예제는 모두 난이도 계열이다. 뽑은 묶음이 원래 데이터의 어느 영역에서 왔는지는 그 점수가 말해 주지 않는다.
• • 무작위 대조군을 돌려 본 적이 있나 — 같은 비율로 아무렇게나 뽑은 묶음과 성적을 맞대 보지 않았다면, 선별 기준이 보탠 몫은 아직 아무도 재 본 적이 없다. 이 비교는 기준을 만드는 것보다 싸다.
• • 데이터가 한 종류인가 여러 종류인가 — 단일 도메인에서는 무작위가 이미 충분히 고르다. 덮는 범위를 따로 챙길 값어치는 여러 출처가 섞인 묶음에서 커진다.

정교한 방법이 무작위를 못 이기는 장면을 이 블로그에서 본 적이 있다. 운영 중인 대규모 테이블에서 이상치를 찾을 때도 무작위 표본이 영리한 표집 전략들을 이겼다. 무대도 메커니즘도 다르지만 교훈이 겹친다. 기준을 공들여 만드는 일과 그 기준이 실제로 보탬이 되는지 확인하는 일은 별개이고, 후자를 건너뛰면 비용만 늘어난 채 아무도 모른다.

페블러스가 데이터를 AI가 바로 쓸 수 있는 상태로 다듬으면서 함께 보는 것이 이 대조군이다. 품질을 측정하겠다는 말은 무엇과 견줄지를 정해 두었다는 말과 같다. 견줄 상대를 만들어 두지 않으면 기준이 좋아졌는지 나빠졌는지도 알 수 없다.

여기까지 읽어 주셔서 감사하다. 이 글의 수치는 arXiv에 공개된 논문 본문에서 직접 확인했고, 논문이 유보한 것은 유보한 대로 적었다. 데이터를 줄일 때 어떤 기준을 쓰고 계신지, 그 기준을 무작위와 맞대 본 적이 있는지 들려주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 11월 9일

• 1.Pandia, L., Misra, K., & Ettinger, A. (2026). "Rethinking Data Selection: The Importance of Coverage over Difficulty in LLM Fine-Tuning." arXiv:2611.07323, 2026년 11월 5일.
• 2.Lambert, N. et al. (2025). "Tülu 3: Pushing Frontiers in Open Language Model Post-Training." arXiv:2411.15124.
• 3.Liu, S., Chen, T., Li, X., Wang, Y., & Zhang, J. (2026). "Data Difficulty and the Generalization–Extrapolation Tradeoff in LLM Fine-Tuning." arXiv:2605.12906, ICML 2026.
• 4.Zhang, H., & Gross, W. J. (2026). "PPL-Factory: Task-Aware and Budget-Aware Data Selection from Language Modeling to Reasoning." arXiv:2607.18199, 2026년 7월 20일.