Executive Summary

지난 몇 년간 대형 언어모델을 만드는 사람들 사이에는 조용한 합의가 하나 있었다. 좋은 모델을 만들려면 데이터가 많아야 하고, 데이터를 많이 모으려면 웹을 통째로 긁어야 하며, 웹을 통째로 긁으면 저작권이 걸린 콘텐츠가 섞여 들어올 수밖에 없다는 것이다. 그래서 '권리를 정리한 데이터'는 곧 '규모를 포기한 데이터'로 통했다. 이 논리는 세 단계로 이어진다. 권리를 정리하면 쓸 수 있는 데이터가 줄고, 데이터가 줄면 학습량이 줄고, 학습량이 줄면 성능이 밀린다. 깨끗한 데이터에는 '성능세'가 붙는다는 통념은 이렇게 만들어졌다.

이 통념이 그럴듯했던 데에는 실제 숫자의 뒷받침이 있었다. 웹크롤을 정제한 대형 데이터셋 FineWeb은 약 15조 토큰, Allen Institute의 Dolma는 약 3조 토큰에 이른다. 반면 라이선스를 처음부터 가려 담은 코퍼스들은 그 5분의 1에서 7분의 1 수준에 머물렀다. 규모의 격차는 명백했고, "그러니 성능도 그만큼 밀릴 것"이라는 추론은 자연스러워 보였다. 아래 막대는 그 격차, 곧 라이선스를 따지지 않은 웹크롤 데이터셋과 권리를 정리한 합법 코퍼스 사이의 규모 차이를 보여준다.

그런데 이 그림에는 한 가지 함정이 있다. 규모의 격차가 곧 성능의 격차라는 등식은 검증된 적이 없는 가정이었다. 데이터가 5배 많으면 성능도 그에 비례해 좋아지는가? 아니면 어느 지점부터는 '무엇을 담았는가'가 '얼마나 담았는가'를 앞지르는가? 이 질문에 정면으로 답하려면, 규모는 작지만 권리는 완전한 데이터셋으로 실제 모델을 학습시켜, 규모가 큰 데이터셋으로 학습한 모델과 같은 벤치마크 위에 세워 보는 수밖에 없다.

이 글이 붙잡는 비교축이 바로 그것이다. 우리는 '공개 데이터냐 폐쇄 데이터냐'를 나누는 흔한 구도 대신, 한 걸음 더 좁혀 '체제 간 성능 동급'을 묻는다. 한쪽은 권리가 정리된 공개 데이터로만 학습한 모델, 다른 쪽은 라이선스를 따지지 않은 비허가 데이터로 학습한 모델이다. 이 두 체제가 같은 저울 위에서 어떻게 갈리는지, 그리고 어디까지만 갈리는지를 보는 것이 통념의 진위를 가리는 가장 정직한 방법이다. 그 실증의 주인공이 Common Corpus다.

"무엇이 이걸 가능하게 했나"의 답은 규모를 좇는 방식이 아니라, 출처를 가려 쌓는 방식에 있었다. Common Corpus는 웹을 무차별로 긁어 사후에 걸러내는 대신, 처음부터 권리 상태가 확인된 콘텐츠만 여섯 개의 컬렉션으로 나눠 모았다. 각 컬렉션은 저작권이 소멸했거나(퍼블릭도메인) 오픈라이선스로 배포되는 자료로만 채워졌고, 그 결과가 약 2조 토큰이다. 규모를 목표로 삼은 게 아니라 라이선스 순도를 목표로 삼았는데, 그 부산물로 2조 토큰이 쌓인 것이다.

여섯 컬렉션의 구성은 이 데이터셋의 성격을 그대로 드러낸다. 절반 가까이가 퍼블릭도메인 도서·신문(OpenCulture)이고, 그 뒤를 법률·행정 문서(OpenGovernment)가 잇는다. 고품질 코드, 오픈 학술 논문, 위키·포럼, 300개 이상 언어의 구조화 지식이 나머지를 채운다. 캐주얼한 잡담이나 소셜미디어 서사가 거의 없고, 대신 문장 구조가 정연한 문어체 텍스트가 압도적이다. 이 편향은 뒤에서 볼 벤치마크 결과를 이해하는 열쇠가 된다.

규모만큼 중요한 것이 언어의 폭이다. Common Corpus는 10억 토큰을 넘는 언어만 33개, 그중 100억 토큰을 넘는 언어가 8개이고, 40% 이상이 비영어로, Pleias는 이를 두고 "어떤 공개 데이터셋보다 많은 다국어 오픈 콘텐츠"라고 밝혔다. 영어에 압도적으로 쏠린 Dolma·FineWeb과 갈리는 지점이 여기다. 도서와 법률 문서가 여러 언어에 걸쳐 균형 있게 들어오면서, 이 데이터셋은 규모를 포기한 대가로 언어 다양성이라는 다른 축을 얻었다. 다만 한 가지는 정직하게 갈라 두어야 한다. 위 분포에서 OpenSemantic이 내건 300개 이상 언어는 Wikidata 기반의 구조화 지식이지 자연어 사전학습 텍스트가 아니다. 실제 문장 학습의 무게를 지는 것은 10억 토큰 이상 33개·100억 토큰 이상 8개 언어 쪽이며, 300이라는 숫자는 그 위에 얹힌 구조화 커버리지로 읽어야 한다.

2조인가, 2.27조인가: 성장하는 데이터셋의 정직한 셈법

Common Corpus를 인용할 때 토큰 수가 자료마다 다르게 나타난다. 2024년 11월 최초 발표는 2조 30억 토큰(2,003,039,184,047), 2025년 6월 논문은 약 2조 토큰(1,998,647,168,282), 현재 배포되는 데이터셋 카드는 2조 2,673억 토큰(2,267,302,720,836)을 가리킨다. 이 차이는 중복제거 방식이 달라서가 아니라, 발표 이후에도 컬렉션이 계속 갱신·확장된 성장형 데이터셋이기 때문이다. 그래서 이 글은 두 숫자를 뭉뚱그리지 않는다. 논문의 실험에 쓰인 스냅샷은 약 2조 토큰, 지금 내려받을 수 있는 배포본은 2.27조 토큰으로 계속 늘고 있다.

이제 저울 위에 올려 보자. 논문은 Common Corpus로 학습한 두 모델(PleIAs 350M·1.2B)을, 규모가 비슷하거나 훨씬 큰 여덟 개 모델과 세 가지 다국어 벤치마크에서 겨뤘다. MultiBLiMP은 문장이 문법적으로 옳은지를 최소대립쌍으로 묻고, XStoryCloze와 XCOPA는 세계지식과 상식적 인과를 묻는다. 표를 읽기 전에 결론부터 말하면 이렇다. 문법에서는 이겼고, 상식추론에서는 밀렸다. 그 경계선이 이 실증의 전부다.

출처: Common Corpus 논문 Table 2 (arXiv:2506.01732v2), LM Evaluation Harness. 주황색 강조는 MultiBLiMP에서 PleIAs가 우위인 셀.

문법에서의 우위, 그리고 가장 강한 한 줄

MultiBLiMP 열을 위에서 아래로 읽으면 통념이 흔들리는 지점이 보인다. PleIAs 350M(0.774)은 자기 체급(270M~560M)을 앞선 것은 물론, 세 배 가까이 큰 XGLM 1.7B(0.710)와 OLMo 1B(0.699)까지 앞섰다. 표 안에서 350M이 문법 벤치마크로 진 상대는 없다. 1.2B 모델(0.797)은 Gemma 3 1B(0.799)에 0.002라는 오차 범위의 차로만 뒤졌을 뿐, 나머지 전원을 앞섰다. 여기서 정직하게 말해 둘 것은, 1.2B와 Gemma 3 1B는 사실상 동급이라는 점이다. 이 글이 기대는 논거는 '1.2B가 이겼다'가 아니라 '350M이 체급을 뛰어넘었다'이다.

상식추론에서의 열세, 숨기지 않는 경계

같은 표의 오른쪽 두 열은 반대 방향을 가리킨다. XStoryCloze와 XCOPA에서 PleIAs 350M·1.2B는 Gemma 3와 XGLM에 대체로 밀린다. 세계지식과 서사적 인과를 묻는 이 벤치마크에서는, 폐쇄 데이터로 학습한 모델들이 더 나은 점수를 냈다. (OLMo 1B와는 유사하거나 근소 우위다.) 이 열세는 감출 것이 아니라 설명해야 할 단서다. 그리고 그 설명은 앞 섹션에서 본 컬렉션 구성으로 곧장 이어진다.

Common Corpus는 도서·법률·과학·코드처럼 구조가 정연한 문어체 텍스트가 큰 비중이고, 일상 대화나 소셜미디어 서사는 거의 없다. 문법 규칙성을 배우기에는 더없이 좋은 재료지만, "컵을 떨어뜨리면 깨진다" 같은 상식적 인과나 세속적 세계지식을 익히기에는 상대적으로 빈약한 재료다. 데이터의 구성이 특정 능력을 만들고 다른 능력에서는 손해를 본다. 문법에서의 우위와 상식추론에서의 열세는 같은 원인의 앞뒷면이다. 이 인과의 연결이 이 실증에서 가장 지적으로 흥미로운 대목이며, 다음 섹션에서 저자들이 그은 경계선과 맞물린다.

이 실증이 신뢰를 얻는 이유는, 저자들이 자기 결과의 한계를 스스로 명시했기 때문이다. 논문은 "성능세는 없다"고 선언하지 않는다. 대신 open data paradox라는 이름의 역설을 인정한다. 지금 모을 수 있는 합법·공개 데이터의 총량은 소형 모델을 사전학습하기에는 충분하지만, 그보다 큰 모델을 만들기에는 아직 모자란다는 것이다. 논문의 표현을 옮기면, 모은 데이터(2조 토큰)는 "규모가 제한된 모델의 사전학습에는 적합하지만, 더 큰 모델은 훨씬 많은 데이터를 필요로 한다."

한계는 세 방향으로 정리된다. 첫째, 모델 크기다. 350M~1.2B 소형 모델까지는 감당되지만 수십억 파라미터 이상으로 가면 데이터가 부족하다. 둘째, 학습 단계다. 저자들은 이 데이터가 "instruction-tuning이나 특화 태스크용 데이터를 결여한다"고 적었다. 사전학습은 되지만 지시를 따르게 다듬는 단계의 재료는 아직 없다는 뜻이다. 셋째, 능력의 종류다. 앞 섹션에서 본 대로 문법에서는 앞서지만 상식추론에서는 밀린다. "성능세 없음"이라는 반박은 이 세 울타리 안에서만 성립한다.

그렇다면 이 실증에서 무엇이 남는가. "깨끗한 데이터로 GPT급 대형 모델까지 폐쇄 데이터를 따라잡는다"는 주장은 이 글이 하지 않는다. 그것은 아직 데이터가 닿지 않은 영역이다. 남는 것은 더 좁고 더 단단한 명제다. 소형·다국어·문법이라는 범위 안에서는, 권리를 정리한 데이터가 성능세를 물지 않았다. 그 범위를 정확히 아는 것이, 통념을 반박하는 것만큼이나 이 글의 목적이다. 그리고 바로 이 범위, 곧 소형·특화·다국어 모델이 규제와 산업이 지금 가장 필요로 하는 영역이라는 점이 다음 섹션의 출발점이다.

이 실증이 지금 나온다는 사실에는 타이밍의 무게가 있다. 며칠 전인 2026년 8월 2일, EU AI Act Chapter V의 감독·집행 권한이 발효됐다. 범용 AI(GPAI) 모델 제공자의 의무는 이미 2025년 8월 2일 시작됐고, 이제 집행위원회가 그 이행을 실제로 강제할 수 있는 단계로 넘어온 것이다. 2025년 8월 이전에 출시된 기존 모델에는 2027년 8월 2일까지 유예가 있지만, 시계는 이미 돌아가기 시작했다.

Chapter V가 GPAI 제공자에게 요구하는 것 중 하나가 학습데이터에 대한 충분히 상세한 요약 공개와 저작권 정책 준수다. 과징금 상한은 연간 전세계 매출의 3% 또는 1,500만 유로 중 큰 금액이다. 여기서 분명히 해 둘 것이 있다. EU AI Act 문서는 Common Corpus를 언급하지도, 권장하지도 않는다. 규제가 이 데이터셋을 지목한 것이 아니다. 다만 규제가 요구하는 절차(출처를 문서화하고 라이선스를 밝히는 일)와 Common Corpus가 설계 단계에서 이미 갖춘 구조(컬렉션·라이선스 단위의 완전한 provenance)가 구조적으로 맞아떨어진다는 것이 이 글의 논점이다.

이 정합성을 비용의 관점에서 뒤집어 보면 함의가 더 선명해진다. 라이선스를 사후에 감사하는 일은 결코 공짜가 아니다. 페블러스가 앞서 다룬 분석에 따르면 데이터 라이선스 감사는 프로그램당 40~160시간, 데이터셋 하나당 3.5~15시간이 든다. 모호한 조항 해석과 상업적 이용 판단에는 변호사의 시간이 들어간다. 모델을 다 만든 뒤 "이 데이터를 써도 됐나"를 거꾸로 확인하는 방식은, 데이터셋이 늘어날수록 감당하기 어려워진다.

이 리포트는 앞서 우리가 다룬 출처 공개의 비대칭 논의의 연장선에 있다. 그 글에서 Common Corpus는 "소스를 개별적으로 열거하는 완전공개 진영"의 대표 사례로 각주에 놓였다. 이번 글은 그 각주를 본문으로 끌어올려, 완전공개라는 극단이 실제로 어떤 성능을 냈는지를 실증으로 파고들었다. 출처를 감추는 쪽과 열거하는 쪽 사이에서, 후자가 성능까지 잃지 않는다면 선택의 저울추는 달라진다.

페블러스가 이 실증을 눈여겨보는 이유는 단순하다. Common Corpus가 2조 토큰을 라이선스·출처 단위로 분류하고 필터링하고 다국어로 정규화한 그 과정이, 우리가 DataClinic으로 수행하는 데이터 품질 진단을 데이터셋 규모로 확장한 실증판이기 때문이다. AI-Ready Data 시리즈가 반복해 온 명제, 곧 학습 데이터의 상태가 모델 성능을 결정한다거나 데이터가 준비됐는지를 읽는 신호가 있다는 주장을 외부의 벤치마크 숫자가 그대로 뒷받침해 준 사례다.

더 정밀하게 보면, 이 실증은 "데이터가 성능을 만든다"에서 한 걸음 더 나아간다. 데이터의 어떤 속성이 어떤 능력을 만드는지까지 보여주기 때문이다. 도서·법률·과학 중심의 정연한 구성이 문법 능력을 끌어올리고, 캐주얼 서사의 부재가 상식추론을 깎았다. 학습 데이터의 구성(출처·라이선스·언어 다양성)이 모델의 특정 능력으로 직결되는 이 인과는, 우리가 진단하는 축인 출처·라이선스·다양성과 그대로 겹친다. "모델이 아니라 데이터가 먼저다"라는 말은 여기서 구호가 아니라 측정 가능한 명제가 된다.

실무의 함의도 뚜렷하다. EU AI Act GPAI 의무를 앞둔 조직에게 "합법 데이터로도 성능이 나온다(적어도 소형·다국어·문법 범위에서는)"는 것은 규제 준수 의사결정의 실전 근거다. 데이터 라이선스 감사 비용을 사후에 치르는 대신 설계 단계부터 출처를 정리하는 편이 더 지속가능하다는 것, 그리고 소버린 AI의 병목이 결국 합법·정리된 원본 데이터라는 것. 이 실증은 그 두 진단에 "출처 정리가 곧 성능 손실은 아니다"라는 반증을 보탠다.

그래서 이 글이 도착하는 자리는 이렇다. 데이터의 품질과 합법성이 성능과 상충한다는 가정이 적어도 특정 범위에서 틀렸다면, 데이터를 준비하는 일은 규제가 부과하는 비용이 아니라 경쟁 우위를 만드는 조건에 가까워진다. 이것은 페블러스만의 주장이 아니라, 프랑스의 한 스타트업이 벤치마크로 내놓은 관찰이다. 우리는 그 관찰이 소형·다국어에서 대형·범용으로 얼마나 확장될지를 계속 지켜볼 참이다.

학술 · 데이터셋

• 1.Langlais, P. et al. "Common Corpus: The Largest Collection of Ethical Data for LLM Pre-Training." arXiv:2506.01732, 2025 (ICLR 2026 poster; OpenReview id=0wSlFpMsGb). — 토큰 수·컬렉션 구성·벤치마크 Table 2·open data paradox 원문
• 2.PleIAs. "Common Corpus 데이터셋 카드." HuggingFace, 2024– . — 현재 배포본 2.27조 토큰·6개 컬렉션·언어 분포 1차 근거
• 3.Langlais, P. "Releasing the largest multilingual open pretraining dataset." HuggingFace Blog, 2024-11-13. — v1 발표(2조 30억 토큰)·언어 분포
• 4.Kandpal, N. et al. "The Common Pile v0.1: An 8TB Dataset of Public Domain and Openly Licensed Text." arXiv:2506.05209, 2025 (EleutherAI). — 동일 계열 완전 합법 데이터셋 비교
• 5.Penedo, G. et al. "The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale." arXiv:2406.17557, 2024. — 웹크롤 규모(15조 토큰) 비교
• 6.Soldaini, L. et al. "Dolma: An Open Corpus for Language Model Pretraining." Allen Institute for AI, 2024. — 준-공개 규모(3조 토큰)·OLMo 학습 데이터
• 7.Bommarito, M. et al. "The KL3M Data Project: Copyright-Clean Training Resources for Large Language Models." arXiv:2504.07854, 2025 (ALEA Institute). — 완전 합법 계열(1.35조 토큰) 비교

정책 · 통계

• 8.Future of Life Institute. "Enforcement of Chapter V under the EU AI Act." artificialintelligenceact.eu, 2026. — GPAI 의무·집행 타임라인(2025·2026·2027-08-02)·과징금 상한

페블러스 인접

• 9.페블러스. "도구는 밝히고, 출처는 감춘다 — AI 학습데이터 공개의 비대칭." 2026-07-11. — Common Corpus를 완전공개 진영 대표로 인용한 선행 리포트
• 10.페블러스. "공개 데이터셋 라이선스 감사 비용." — 사후 감사 40~160시간 대비 포인트
• 11.페블러스. "AI-Ready Data의 조건" · "AI-Ready Data를 읽는 5가지 신호." — 데이터 상태와 성능의 연결
• 12.페블러스. "증류와 소버린 데이터." — 합법·정리된 원본 데이터 병목