Executive Summary

모델을 잘 고르는 법을 재는 벤치마크는 넘칩니다. 추론 능력, 코딩, 수학, 안전성까지 리더보드가 촘촘합니다. 그런데 그 모델을 만드는 재료, 곧 학습 데이터를 얼마나 잘 손질했는지를 재는 자리는 오랫동안 비어 있었습니다. 데이터 손질은 화려하지 않습니다. 원천 문서를 다듬고, 질문과 답을 짝짓고, 잡음을 걷어내는 일은 리더보드에 오르지 않습니다. 그런데도 결과를 가장 크게 좌우하는 단계가 바로 여기입니다.

베이징대와 상하이의 고등알고리즘연구소 등이 공개한 DataPrep-Bench는 이 공백을 정면으로 짚습니다. 논문의 문제의식은 단순합니다. 학습 데이터의 품질이 LLM의 실력을 근본적으로 결정하는데도, LLM과 에이전트가 실제로 학습 데이터를 얼마나 잘 준비하는지를 재는 통합 벤치마크는 없었다는 것입니다. 왜 없었을까요. 논문은 네 가지를 지목합니다.

• • 방법론 파편화: 데이터를 "구성"하는 연구와 데이터 "품질을 평가"하는 연구가 서로 다른 문헌에서 따로 자라, 공유할 평가 인프라가 없었습니다.
• • 프로토콜 불일치: 연구마다 원천 데이터, 베이스 모델, 다운스트림 벤치마크가 제각각이라 "어떤 구성 전략이 실제로 쓸모 있는 데이터를 만드는지" 비교가 불가능했습니다.
• • 평가지표 검증 부실: 기존 품질 지표는 대개 단일 모델, 단일 도메인에서만 상관관계를 확인했거나 상위 몇 개를 걸러내는 간접 방식에 그쳤습니다.
• • 비용 장벽: 구성부터 파인튜닝, 다운스트림 평가까지 전 과정을 실측하려면 컴퓨트가 많이 들어, 선행 연구들이 유리한 도메인과 모델만 골라 검증하는 경향이 있었습니다.

DataPrep-Bench가 재는 실력은 두 갈래입니다. 첫째는 데이터 구성(Data Construction), 원천 자료를 지도학습용 학습 데이터로 바꾸는 능력입니다. 둘째는 데이터 품질 평가(Data Quality Evaluation), 다운스트림 학습을 돌리기 전에 후보 데이터셋의 훈련 가치를 미리 예측하는 능력입니다. 논문은 이 둘을 어느 하나가 곁가지가 아닌 대등한 목표로 놓고, 하나의 프로토콜로 함께 잽니다. 재료를 만드는 손과 재료를 감별하는 눈을 같은 저울에 올린 셈입니다.

여기서 "품질"이 무엇을 뜻하는지가 중요합니다. 문장이 매끄러운지, 오탈자가 없는지 같은 표면 속성이 아니라, 그 데이터로 실제 학습했을 때 다운스트림 성능이 얼마나 오르는가, 곧 훈련 유용성이 품질의 정의입니다. 그래서 채점 방식도 두 트랙이 다릅니다. 구성 트랙은 만든 데이터로 베이스 모델을 파인튜닝해 도메인 벤치마크 점수로 채점하고, 품질 평가 트랙은 평가자가 매긴 점수와 실제 파인튜닝 성능 사이의 피어슨 상관계수로 채점합니다.

구성 트랙의 채점은 한 겹 더 구체적입니다. 각 방법이 만든 도메인 데이터를 범용 지시 데이터셋 Dolly-15k에 섞어 베이스 모델 두 개(Qwen2.5-7B, Llama-3.1-8B)를 파인튜닝한 뒤, 그 모델의 도메인 벤치마크 점수를 Dolly만으로 학습한 모델과 견줍니다. 그래서 각 방법의 점수는 Dolly라는 공통 바닥 위에서 그 방법이 데이터를 얼마나 더 쓸모 있게 만들었는지를 가리킵니다. 뒤에 나오는 "15.1점 → 34.2점" 같은 수치도 모두 이 바닥을 기준으로 읽으면 됩니다.

도메인은 여섯입니다. General Text, Math, Science, Medical, Finance, Law. 일부러 성격이 다른 영역을 섞었습니다. 지식이 촘촘히 응축된 도메인이 있는가 하면, 개방형 추론이 필요한 도메인도 있고, 전문 용어와 규제가 얽힌 도메인도 있습니다. 같은 손질 방법이 어떤 도메인에서는 통하고 어떤 도메인에서는 무너지는지를 봐야, "AI가 데이터를 잘 손질한다"는 말의 실제 무게를 잴 수 있기 때문입니다.

구성 트랙에서는 여러 방법이 같은 링에 올랐습니다. 전문가가 설계한 다단계 워크플로우 DataFlow, GPT-4o가 그 오퍼레이터를 골라 조합하는 DataFlow-Skill, 최신 상용 모델에 QA 쌍 생성을 직접 요청하는 방식, Claude Code 환경에서 ReAct 포맷으로 도는 에이전트형, 그리고 논문이 새로 공개한 Data-Construction-Skill입니다. 마지막 방법은 프롬프트로 일일이 지시하는 대신, 과제 지시와 출력 스키마, 품질 제약, 검증 규칙을 담은 재사용 가능한 "스킬 레이어"로 에이전트를 안내합니다.

가장 눈에 띄는 성과는 금융에서 나왔습니다. Llama-3.1-8B를 Dolly-15k 단독으로 파인튜닝하면 금융 도메인 점수가 15.1점인데, 여기에 Data-Construction-Skill이 만든 데이터를 더하자 34.2점으로 뛰었습니다. 거의 20점에 가까운 절대 상승입니다. 지식이 밀집된 도메인에서 구조화된 추출이 얼마나 강한지를 보여 주는 장면입니다. 다만 같은 금융에서 DataFlow-Skill은 36.5점으로 근소하게 더 높아, 스킬 레이어가 모든 방법을 압도하는 만능 열쇠는 아니라는 점도 분명했습니다.

진짜 교훈은 실패에 있습니다. 논문이 가장 강조하는 발견은 합성 도메인 데이터가 도움이 되기는커녕 오히려 해가 되는 경우가 많다는 것입니다. 여러 생성 방법이 여러 도메인에서 Dolly 단독 베이스라인보다 낮은 점수를 냈고, 특히 Llama-3.1-8B의 Science 도메인에서 이 역효과가 두드러졌습니다. 심지어 Qwen2.5-7B의 금융에서는 Dolly 단독이 57.8점인데 Data-Construction-Skill을 더하니 55.5점으로 내려가기도 했습니다. 데이터를 더 넣었는데 성능이 깎이는 것입니다.

두 번째 트랙이 페블러스 독자에게 특히 흥미로운 이유가 여기 있습니다. 데이터를 만든 뒤 파인튜닝을 돌려 보고 나서야 좋은지 나쁜지 알 수 있다면, 컴퓨트는 이미 태워진 뒤입니다. 품질 평가 트랙이 묻는 것은 정반대입니다. 학습을 돌리기 전에, 이 데이터셋이 얼마나 쓸모 있을지 스칼라 점수 하나로 미리 예측할 수 있는가. 논문은 품질 기반 9종, 다양성 기반 6종, 그리고 새로 공개한 분포 기반 1종까지 모두 18종의 평가자를 같은 후보 풀에 세워 비교했습니다.

가장 잘 통한 것은 논문이 새로 제안한 Distributional Alignment Score(DAS)였습니다. 아이디어는 도메인 적응 이론에서 왔습니다. 후보 데이터의 분포가 목표 도메인의 분포에 가까울수록 학습에 도움이 될 가능성이 높다는 것입니다. 계산은 이렇습니다. 고정된 텍스트 인코더로 후보 데이터셋과 도메인별 고품질 코퍼스(프록시)를 각각 인코딩한 뒤, 두 분포 사이의 거리(Maximum Mean Discrepancy, MMD)를 잽니다. 거리가 가까울수록 점수가 높습니다. 표면 텍스트가 아니라 분포의 정렬을 보는 것입니다.

결과는 뚜렷했습니다. DAS는 여섯 도메인 중 네 도메인에서 모델을 바꿔 가며 재도 상관관계가 가장 강했고, 무엇보다 Math·Science·Medical 세 도메인에서 동시에 상관계수 0.70을 넘긴 유일한 지표였습니다. Math에서는 모델에 따라 0.72에서 0.93까지 올랐습니다. 표면적 품질을 보던 QuRating 계열이나 다양성을 보던 Vendi 계열은 이 문턱을 함께 넘지 못했습니다. 파인튜닝을 돌리기 전에 분포만 보고도 "이 데이터가 도움이 될지"를 꽤 믿을 만하게 가늠할 수 있다는 뜻입니다.

정직한 벤치마크는 성공만 보고하지 않습니다. DAS가 Math·Science·Medical에서 빛났다면, 금융과 법률에서는 DAS를 포함한 모든 지표가 함께 고전했습니다. 금융에서 DAS의 상관계수는 0.42에서 0.50 수준으로 가장 약했고, 다른 지표들은 상관이 불안정하거나 음의 값이 나오기도 했습니다. 특정 지표만의 약점이 아니라, 도메인 자체가 어렵다는 것을 논문은 분명히 인정합니다.

이유는 여러 겹입니다. 우선 후보 풀의 크기가 도메인마다 비대칭이었습니다. General Text는 후보가 14개인데 금융과 법률은 8~10개에 그쳐, 피어슨 상관계수가 안정적으로 잡히기 어려운 통계적 조건이었습니다. 여기에 전문 용어와 규제 문맥이 촘촘히 얽힌 도메인 특성이 더해집니다. 표현이 미묘하게 달라도 의미가 크게 갈리는 영역에서는, 분포의 거리만으로 훈련 가치를 가늠하기가 그만큼 까다로워집니다.

논문이 짚는 한계는 하나 더 있습니다. 개별 샘플 단위의 품질 지표를 데이터셋 단위로 확장하면, 결국 평균을 내거나 상위 몇 개를 고르는 단순 휴리스틱으로 퇴화하는 경향이 있다는 것입니다. 사람이 원하는 답변 형식과 모델이 잘 뽑아내는 형식 사이의 간극도 남아 있습니다. 데이터 준비도를 점수로 만드는 일은 시작됐지만, 아직 절반의 도메인에서는 그 점수가 믿을 만하지 않다는 뜻입니다.

페블러스가 말하는 AI-레디 데이터에서 가장 어려운 낱말은 '레디'입니다. 데이터가 준비됐다는 판단은 오랫동안 숙련된 사람의 감에 기대 왔습니다. 이 데이터셋이면 학습을 돌려도 되겠다는 판단은, 대개 경험 많은 엔지니어의 직관이었지 측정된 숫자가 아니었습니다. DataPrep-Bench, 그리고 그 안의 DAS는 바로 그 직관을 처음으로 점수판 위에 올려놓은 시도입니다.

이 글은 앞서 다룬 두 편과 나란히 읽힙니다. 커스텀 SLM의 비용 절감이 결국 데이터 큐레이션 품질에서 온다고 짚은 글(커스텀 SLM 비용을 가르는 데이터 품질)은 "품질이 비용을 가른다"고 주장했습니다. DAS는 그 주장을 학습 전에 예측 가능한 점수로 바꾼 첫 사례입니다. 또 데이터 준비도라는 상한선을 처음 짚은 글(AI는 정답을 알아도 언제 믿을지는 모른다)이 그 준비도의 존재를 말했다면, 이번 벤치마크는 그 준비도를 만드는 주체, 곧 AI 자신의 실력을 잽니다.

실무의 질문은 두 겹으로 정리됩니다. 우리가 학습에 쓰려는 데이터는 예측하려는 도메인의 분포를 실제로 닮았는가. 그리고 그 닮음의 정도를, 컴퓨트를 태우기 전에 숫자로 확인할 수 있는가. DAS가 통하는 도메인이라면 답은 "그렇다"에 가까워지고, 금융·법률이라면 아직 "사람의 눈이 더 필요하다"는 정직한 답이 남습니다. 어느 쪽이든, 판단의 근거가 감에서 점수로 옮겨 가기 시작했다는 사실은 달라지지 않습니다.

• 1.Liang, H., Cai, Q., Lin, Y., Du, J., Xia, Q., Qiu, S., et al. (2026). "DataPrep-Bench: Benchmarking LLMs as Training Data Preparators." arXiv:2607.20465.
• 2.DataPrep-Bench Project Page. "DataPrep-Bench." 데이터셋·리더보드·평가자 목록.