Executive Summary

격차의 크기와 성질을 먼저 네 숫자로 본다. 가장 나쁜 조합의 감소폭, 그것이 낱말 수준에서 드러난 모습, 파라미터를 늘렸을 때의 변화, 방향이 유지된 횟수다.

AI가 쓴 글이 서로 비슷하다는 인상은 오래된 이야기다. 그 인상을 검사로 바꾸려면 기준이 있어야 하는데, 그동안의 다양성 지표는 대부분 생성물끼리만 비교했다. 같은 프롬프트에 모델이 낸 답 열 개가 서로 얼마나 다른지를 재는 식이다. 그 방식으로는 모델이 좁은지 아닌지 판정할 수 없다. 무엇에 비해 좁은지가 빠져 있기 때문이다. 2026년 9월 2일 arXiv에 올라온 홍콩중문대 컴퓨터과학공학과 연구진(Youqi Wu, Farzan Farnia)의 프리프린트는 그 빈칸에 학습 코퍼스를 놓았다.

실험 설계는 단순하다. 모델이 학습에 쓴 코퍼스에서 문단을 뽑아, 그 문단의 앞부분을 잘라 프리픽스로 삼는다. 코퍼스에는 그 프리픽스 뒤에 실제로 이어져 있던 토큰이 있고, 같은 프리픽스를 모델에 물리면 모델도 뒤를 이어 쓴다. 두 이어쓰기 집합을 같은 방식으로 벡터화한 뒤 조건부 엔트로피를 각각 계산해 나란히 놓는다. 주 실험의 측정 단위는 프리픽스 3토큰과 이어쓰기 2토큰이고, 표본은 프리픽스 20,000개다. 문단이나 문서 길이의 응답을 잰 실험이 아니라는 점은 이 글 전체에서 유효한 제약이다.

조건부로 재는 이유가 이 방법의 핵심이다. 프리픽스마다 사람이 쓴 정답을 여러 개 모아 둘 필요가 없다. 짝지어진 입력과 출력 표본 전체에 대해 결합 쪽 엔트로피에서 입력 쪽 엔트로피를 빼면, 프리픽스로 설명되지 않는 이어쓰기 쪽 변동만 남는다. 임베딩으로 만든 커널 행렬에 폰노이만 엔트로피를 적용한 형태로 쓰면 다음과 같다.

논문이 표에 싣는 값은 이 엔트로피 자체가 아니라 그것을 지수로 되돌린 $\exp(H_{\mathrm{vN}})$이다. 저자들은 이 형태를 쓰는 이유를 조건부로 구별 가능한 출력의 실효 개수로 읽을 수 있기 때문이라고 적는다. 338.58이라는 값은 점수보다 개수로 읽는 편이 맞다. 같은 조건에서 서로 구별되는 이어쓰기가 약 339가지 있었다는 뜻이다. 이 글의 표에 나오는 숫자도 모두 그 개수다.

1.1기준선은 코퍼스 전체가 아니다

그렇다면 비교의 한쪽에 놓인 훈련 데이터는 정확히 무엇인가. 부록 D.1에 절차가 적혀 있다. 문서를 빈 줄로 갈라 문단 후보를 만들고, 그중 500자 이상이면서 문장 종결 부호가 세 개 이상인 문단만 남긴 뒤, 문서마다 균일하게 표집해 첫 유효 문단을 쓴다. 그러니까 기준선은 코퍼스 전체가 아니라 일정 길이 이상의 산문 문단으로 걸러낸 부분집합이다. 코드 조각이나 표, 짧은 목록은 이 기준선에 들어가지 않는다. 그 필터가 격차를 키웠는지 줄였는지는 논문이 따로 검토하지 않았다.

코퍼스 자체는 Ai2의 Dolma와 EleutherAI의 The Pile이다. 두 코퍼스의 구성과 라이선스는 「LLM 학습 데이터셋 가이드」에 정리해 두었으므로 여기서 다시 설명하지 않는다.

1.2지표를 만든 쪽과 쓴 쪽이 같다

논문이 쓰는 지표는 이 논문에서 새로 만든 것이 아니다. §2가 직접 밝힌다. 여기서 보고하는 $\exp(H_{\mathrm{vN}})$은 잘랄리와 오스파노프, 고하리, 파르니아가 2026년 AISTATS에 낸 조건부 벤디 점수와 같은 양이다. 무조건부 생성모델에서 같은 종류의 격차를 먼저 실측한 연구도 파르니아 그룹의 것이다. 두 선행 연구와 이 논문의 교신저자는 같은 사람이다. 독립된 제3자가 남의 지표로 검증한 결과로 읽으면 곤란하다. 자기들이 만든 조건부 지표를 학습 코퍼스 대조에 처음 적용한 결과다.

부록 A는 같은 현상의 선행 보고를 스스로 열거한다. 지시 형식이 의미적으로 비슷한 출력을 유도한다는 보고가 있었고, 이미지 생성모델이 학습 분포 다양성의 일부만 덮는다는 보고가 있었으며, 캡션 모델이 사람보다 평범하고 좁은 문장을 낸다는 보고도 있었다. 이 논문이 새로 놓은 것은 절차다. 그 모델이 실제로 먹은 코퍼스를 비교 대상으로 세웠다.

이 논문은 아직 v1 프리프린트다. 학회 게재 정보가 붙어 있지 않고, 실험은 RTX-4090 두 장으로 돌렸으며, 재현 코드 링크는 원문에서 찾지 못했다. 아래에서 인용하는 표는 모두 그 프리프린트의 본문과 부록에서 직접 확인한 값이다.

시험 대상은 OLMo-1B와 Pythia-1B, GPT-Neo-1.3B다. 각 모델에 세 가지 디코딩을 걸었다. 매 시점 가장 확률이 높은 토큰만 고르는 그리디, 상위 확률 90%까지만 남기고 표집하는 뉴클리어스, 그리고 다음 토큰 분포 전체에서 그대로 뽑는 전체 분포 샘플링이다. 아래 표의 값은 앞에서 말한 실효 개수이고, ± 뒤의 수는 다섯 번 독립 평가한 표준편차다. 오른쪽 상대 격차 칸은 논문에 없는 값으로, 같은 행의 훈련 데이터 대비로 우리가 계산했다.

▲ 프리픽스 3토큰 / 이어쓰기 2토큰, 표본 20,000개, Qwen3-Embedding + 가우시안 커널 기준. 논문 Table 1의 값이며 상대 격차는 페블러스 계산.

표를 가로로 읽으면 이 논문에서 실무자가 가져갈 것이 먼저 보인다. 널리 인용될 만한 숫자는 OLMo 그리디의 35.4%인데, 그 값은 모델과 디코딩과 길이 세 축 모두에서 가장 나쁜 단일 조합이다. 같은 표 안에서 디코딩만 전체 분포 샘플링으로 바꾸면 Pythia는 7.9%까지 내려간다. 격차가 사라졌다는 뜻은 아니다. 다만 어떤 설정으로 뽑았는지를 적어 두지 않은 다양성 수치는 서로 비교할 수 없다는 뜻은 된다. 참고로 허깅페이스 transformers의 generate() 기본값은 그리디이고, 상용 API의 기본 온도는 1.0이다. 기본값을 그대로 쓴 파이프라인과 표집을 조정한 파이프라인은 같은 모델이라도 다른 자리에 놓인다.

2.1길이를 바꾸면 격차는 3%대까지 내려간다

3토큰과 2토큰이라는 단위가 짧다는 지적은 논문 스스로 예상했다. §6.3은 프리픽스를 8·16·32토큰으로, 이어쓰기를 16·32·64토큰으로 늘려 스물일곱 개 조합을 추가로 돌린다. 전수 확인 결과 훈련 데이터가 더 높은 방향은 스물일곱 개 모두에서 유지된다. 뒤집힌 칸은 없다. 그런데 크기는 크게 달라진다. 그리디 기준 상대 격차만 뽑으면 아래와 같다.

▲ 논문 Table 2의 스물일곱 행 가운데 네 조합을 뽑은 것. 상대 격차는 페블러스 계산.

두 방향의 경향이 겹쳐 있다. 프리픽스를 고정하고 이어쓰기를 늘리면 격차가 커지는데, 이어쓰기가 길수록 타당한 변주의 여지가 넓어지고 모델이 그만큼을 덜 덮기 때문이다. 반대로 이어쓰기를 고정하고 프리픽스를 늘리면 격차가 줄어든다. 조건이 강해질수록 그럴듯한 이어쓰기의 폭 자체가 좁아지는 까닭이다. 프리픽스를 3토큰에서 4토큰으로 딱 한 토큰만 늘린 어블레이션에서도 OLMo의 그리디 격차는 35.4%에서 20.9%로 내려간다. 그러니 35%라는 숫자를 긴 문장에 그대로 옮겨 붙이면 과장이 된다. 논문의 마감 문장은 이렇다.

"Nevertheless, no configuration eliminates the gap."

그럼에도 어떤 설정도 격차를 없애지는 못한다. 부록 D.1

2.2임베딩과 커널을 바꿔도 결론은 그대로였다

커널을 잘 골라서 나온 결과가 아니냐는 물음에도 부록이 답을 준비해 두었다. 임베딩을 T5로 바꾸고, 커널을 3차 다항식과 코사인으로 바꾼 세 표 전부에서 순서가 뒤집히는 설정은 하나도 없다. 세 표 모두 세 모델을 다 담고 있다. 절대 스케일은 크게 달라지지만 훈련 데이터가 가장 높고 그리디가 가장 낮다는 결론은 그대로다. 저자들의 표현으로는 정성적 결론이 바뀌지 않았고, 따라서 이 격차가 특정 임베딩이나 커널 계열의 산물은 아니라는 것이다.

임베딩과 커널 말고 시퀀스를 토막 내는 단위도 바꿔 봤다. 긴 시퀀스를 2토큰짜리 조각들의 임베딩으로 이어 붙여 표현한 것이 앞의 스물일곱 조합인데, 그 조각을 1토큰과 4토큰으로 바꿔도 훈련 데이터가 위에 있는 구도와 네 그룹의 순서가 모두 유지된다. 다만 이 검사의 범위는 앞의 세 표보다 좁다. GPT-Neo 한 모델의 긴 시퀀스 설정에서만 돌렸다.

부록은 표면 다양성 지표와의 차이도 따로 다룬다. 확률적 디코딩을 쓰면 서로 다른 n-그램의 비율을 세는 Distinct 계열 점수는 훈련 데이터에 상당히 가까워진다. 그런데 같은 표본에서 조건부 엔트로피 격차는 여전히 양수로 남는다. 표면에서 낱말 조합이 다양해지는 것과 의미 공간에서 서로 구별되는 이어쓰기가 늘어나는 것이 같은 일은 아니라는 뜻이고, 커널 기반 지표를 따로 쓰는 근거도 여기서 나온다.

마지막으로, 이 현상이 언어모델에만 걸린 것인지를 §6.4가 확인한다. 클래스 조건부 ImageNet 생성모델 넷과 MS-COCO 캡션을 조건으로 준 텍스트 조건부 생성모델 넷에서도 같은 방향의 격차가 나왔다. MS-COCO 20,000 표본 기준으로 참조 데이터가 40.52일 때 SDXL은 30.25, PixArt-Σ는 25.25다. 다만 여기서 비교 대상은 그 모델의 학습 코퍼스가 아니라 참조 데이터셋이므로, 학습 데이터와 나란히 놓았다는 서술은 앞의 언어모델 세 계열에만 해당한다. 그 단서를 붙이더라도 이 격차가 한 아키텍처나 한 학습 방식의 문제는 아니라는 논문의 판단은 남는다.

2.3몇 개를 재느냐도 결과를 바꾼다

앞의 표들이 내놓은 값은 전부 표본 20,000개에서 잰 것이다. 이 조건 역시 격차의 크기를 움직인다. 논문은 같은 측정을 2,500개부터 20,000개까지 여덟 지점에서 반복했는데, 표본이 커질수록 격차가 한 방향으로 벌어진다. 주 실험의 세 모델에서도 그렇다. OLMo의 그리디 격차는 표본 10,000개에서 30.0%였다가 20,000개에서 35.4%가 되고, Pythia는 27.8%에서 32.8%로, GPT-Neo는 26.1%에서 31.0%로 올라간다. 여덟 지점을 다 보여 주는 곡선은 부록의 큰 모델 쪽 표에 있다.

▲ 논문 Table 11·12가 보고한 여덟 개 표본 크기 가운데 세 지점. 그리디 디코딩 기준 상대 격차이며 백분율은 페블러스 계산.

논문은 그 까닭을 훈련 데이터 쪽의 상승 속도에서 찾는다. 표본을 늘리면 훈련 데이터 쪽 값이 생성물 쪽보다 빨리 올라간다. 예제를 더 넣을수록 코퍼스는 여태 안 나왔던 이어쓰기를 계속 내놓는 반면 모델 쪽은 이미 쓴 범위 안을 맴돈다는 것이다. 그러니 격차의 크기는 얼마나 많이 재느냐에도 달려 있다. 같은 모델을 같은 디코딩으로 같은 길이만큼 뽑아도 2,500개를 재면 20%에 못 미치고 20,000개를 재면 35%가 된다. 디코딩 설정을 적어 두라고 한 앞의 요구에 표본 크기가 하나 더 붙는 셈이다.

커널 행렬에서 나온 숫자는 그 자체로는 검증하기 어렵다. 임베딩 공간에서 벌어진 일이라 사람이 눈으로 확인할 방법이 없기 때문이다. 부록 E.9는 그 약점을 정면으로 다룬다. 지표를 쓰지 않고, 세어서 확인할 수 있는 낱말로 같은 질문을 다시 던진다.

미리 정해 둔 세 개의 낱말 목록에서 시작한다. 국가 192개, 스포츠 80개, 직업 118개다. 그다음 각 그룹의 이어쓰기에서 이 낱말들이 몇 번 나왔는지를 대소문자 무시 정확 일치로 센다. 센 횟수를 확률분포로 정규화하면 두 가지를 뽑을 수 있다. 실제로 등장한 서로 다른 낱말의 개수, 그리고 그 분포의 섀넌 엔트로피를 지수로 되돌린 값이다. 뒤쪽은 똑같은 확률로 쓰였다면 몇 개를 쓴 셈인가를 말해 준다. 이 감사는 OLMo 한 모델에 대해서만, 표본 20,000개로 수행됐다.

▲ 논문 Table 10. OLMo 한 모델, 표본 20,000개. 실효 개수는 정규화한 낱말 빈도 분포의 섀넌 엔트로피를 2의 지수로 되돌린 값.

실효 개수 세 열이 모두 같은 순서로 줄지어 있다. 훈련 데이터, 전체 분포, 뉴클리어스, 그리디 순인데 이는 커널 지표가 매긴 순서와 정확히 일치한다. 반면 등장한 낱말의 가짓수는 그만큼 깔끔하지 않다. 스포츠에서는 뉴클리어스가 25개로 전체 분포의 24개보다 많고, 직업에서도 69개 대 68개로 앞선다. 가짓수와 고른 정도는 서로 다른 질문이기 때문이다. 국가 목록에서 그리디는 82개를 쓰긴 썼는데, 그 82개를 고르게 쓰지 않아 실효 개수는 26.9로 주저앉는다.

그 쏠림이 어떤 모습인지는 논문이 예로 들어 보여 준다. 그리디 디코딩의 국가 언급에서 20.0%가 "UK"에, 19.8%가 "United States"에 몰렸다. 같은 프리픽스로 만든 훈련 문단에서 두 낱말의 몫은 8.4%와 4.3%였다. 여기서 모수를 정확히 붙잡아 둘 필요가 있다. 이 비율의 분모는 생성된 텍스트 전체가 아니라 국가 어휘 목록 192개에 걸린 언급의 총량이다. 생성물의 40%가 두 낱말이었다는 이야기로 읽으면 틀린다. 나라 이름을 말할 대목이 왔을 때 그중 열에 넷이 두 나라로 갔다.

분포가 특정 값에 몰리는 현상은 텍스트 생성에만 있는 일이 아니다. 합성 페르소나 데이터에서 인구통계 축이 겹칠 때 소수 조합이 먼저 사라지는 양상은 「합성 페르소나의 교차 소실」에서 다룬 적이 있다. 재는 대상과 지표는 다르지만, 총량은 멀쩡한데 가장자리가 얇아진다는 점에서 같은 계열의 문제다.

지금까지의 실험은 전부 10억 파라미터 안팎의 모델이다. 용량이 부족해서 코퍼스의 폭을 다 담지 못한 것이라면, 모델을 키우면 격차가 줄어야 한다. 부록 E.10이 이 질문을 받는다. OLMo-3-7B를 추가하고 Pythia를 2.8B와 6.9B로 확장해 같은 설정에서 다시 쟀다.

OLMo-3-7B의 결과부터 보면, 논문이 직접 밝힌 상대 감소는 20,000 표본에서 그리디 약 33.0%, 뉴클리어스 약 16.2%, 전체 분포 약 12.0%다. 1B 모델의 35.4%와 15.1%, 12.2%와 나란히 놓으면 거의 겹친다. 다만 OLMo-1B와 OLMo-3-7B는 파라미터만 다른 것이 아니다. 학습 코퍼스가 Dolma에서 Dolma 3로 바뀌었고 학습 토큰도 3조에서 5.93조로 늘었다. 크기의 효과만 떼어 볼 수 있는 비교는 아니다.

그 조건을 만족하는 비교는 Pythia 쪽에서 나온다. Pythia 계열은 1B와 2.8B, 6.9B가 모두 The Pile을 1에폭, 약 3,000억 토큰으로 학습했다. 데이터 쪽 변수가 고정된 채 파라미터만 움직인 드문 설계다. 여기에 한 가지 조건을 더 걸면 비교가 완전히 깨끗해진다. Pythia-1B의 훈련 기준선은 262.55이고 2.8B와 6.9B의 훈련 기준선은 265.87이다. 같은 코퍼스를 같은 절차로 걸러 냈는데도 표가 다르면 기준선 값이 다르고, 논문은 그 차이가 어디서 왔는지 따로 적지 않았다. 반면 2.8B와 6.9B는 같은 표 안에서 훈련 기준선이 소수점까지 동일하다. 두 모델만 나란히 놓는 이유가 여기에 있다.

▲ 논문 Table 12, 표본 20,000개. 괄호 안 상대 격차와 변화량은 페블러스 계산. 파라미터 실측치는 각각 29억 943만과 69억 9,152만으로 약 2.4배 차이다.

파라미터를 2.4배로 늘리는 동안 그리디 기준 상대 격차는 35.1%에서 34.5%로 움직였다. 0.6%p다. 확률적 디코딩 쪽은 1%p대로 줄어 방향은 개선 쪽이지만, 격차가 닫히는 속도라고 부르기에는 너무 느리다. 크기를 키울수록 나빠진다는 결과는 아니다. 뉴클리어스와 전체 분포에서는 분명히 줄었다. 정확한 요약은 거의 그대로였다는 쪽이고, 논문 자신의 문장도 모델 크기를 키우는 것만으로는 격차가 사라지지 않는다는 데서 멈춘다.

이 실험에 들어간 모델은 모두 지금 기준으로 한 세대 이상 지난 것들이다. GPT-Neo는 2021년 모델이고 저장소는 그해 8월 유지보수 중단을 명시하고 있다. Pythia는 2023년, OLMo-1B는 2024년 2월에 나왔다. 지시조정이나 RLHF를 거친 상용 모델은 이 실험에 하나도 들어 있지 않다. 이들을 고른 기준은 처음부터 학습 코퍼스의 공개 여부였고, 그 기준이 이 글의 마지막 논점으로 이어진다.

격차를 쟀으면 다음 질문은 무엇을 할 수 있느냐다. 재학습은 대부분의 조직에게 답이 아니고, 이 논문도 그 길을 권하지 않는다. 대신 이미 뽑아 놓은 출력에 손을 대는 방법을 제안한다. 프리픽스마다 후보를 열 개 생성해 두고, 그 후보들에 걸린 가중치를 조건부 엔트로피 제약 아래 다시 나누는 방식이다. 모델 파라미터는 건드리지 않고 새 출력을 만들지도 않는다.

이 재분배가 풀 수 있는 문제인 까닭은 논문 §4가 밝힌다. 논문이 실제로 증명한 명제는 커널로 정의한 조건부 폰노이만 엔트로피가 결합분포에 대해 오목하다는 것이다. 오목하면 엔트로피가 어떤 값 이상이라는 조건을 만족하는 분포들이 볼록집합을 이루고, 그 집합으로 후보 가중치를 밀어 넣는 일은 볼록 최적화가 된다. 실제 계산은 프리픽스마다 하나씩 놓인 심플렉스들의 곱 위에서 미러 디센트로 푼다. 증명은 여기까지다. 앞 섹션들의 다양성 격차는 재서 나온 값이다. 수학이 보증하는 것은 그 격차를 줄이는 절차 쪽이고, 격차의 존재 자체는 실측이 떠받친다.

5.1온도를 올리는 것으로는 부족하다

가장 손쉬운 대안은 표집 온도를 올리는 것이다. 논문은 그 대안을 진지하게 시험했다. OLMo의 조건부 엔트로피가 훈련 데이터와 같아지는 온도를 찾았더니 T가 약 1.9였다. 엔트로피 숫자는 맞춰진 셈이다. 그런데 그 온도에서 품질 쪽 두 지표가 함께 나빠졌다. 하나는 생성물의 확률 질량 중 훈련 이어쓰기의 추정 support 안에 들어가는 비율이고, 다른 하나는 별개의 언어모델이 같은 프리픽스 조건에서 매긴 음의 로그가능도다.

▲ 논문 Table 8, OLMo 기준. 온도 1.9는 훈련 데이터의 조건부 엔트로피에 맞춰 조정한 값이다.

엔트로피라는 한 숫자를 맞추는 일과 가장 가까운 분포로 옮기는 일이 다르다는 것이 이 표의 요지다. 다만 투영의 NLL 3.713이 훈련 데이터의 4.679보다 낮다는 대목은 조심해서 봐야 한다. 사람이 쓴 글보다 낫다는 말이 아니다. 외부 언어모델이 보기에 더 예측 가능하다는 뜻이다.

5.2가중치가 어디로 옮겨 가는가

재가중이 실제로 무슨 일을 하는지는 통제 프로브에서 가장 잘 보인다. 논문은 프롬프트 두 개를 골라 각각 1,000개의 이어쓰기를 뽑은 뒤 투영을 걸었다. "A vibrant city in Northern America is ___"에서는 Toronto의 몫이 0.206에서 0.177로, Vancouver가 0.198에서 0.137로, New York이 0.096에서 0.068로 내려갔다. 그 자리를 Miami가 0.018에서 0.046으로, Denver가 0.020에서 0.035로, Philadelphia가 0.010에서 0.022로 받아 갔다. 구별되는 이어쓰기의 실효 개수는 13.29에서 17.34가 됐다. 유명인을 묻는 두 번째 프롬프트에서는 53.46이 81.25로 올랐다.

"it reduces excessive concentration on dominant generated answers and increases the representation of plausible alternatives already present in the candidate pool, rather than promoting low-quality or implausible outputs."

지배적인 답에 쏠린 정도를 줄이고, 이미 후보 풀 안에 있던 그럴듯한 대안들의 몫을 늘린다. 품질이 낮거나 말이 안 되는 출력을 끌어올리는 방식이 아니다. 부록 E.8

투영이 하는 일은 후보 풀 안에서 몫을 옮기는 데서 끝난다. 새 답을 만들어 내지 않는다. 이 성질 때문에 재가중은 사실 확인 부담을 새로 만들지 않는다. 후보 풀 밖으로 나가지 않기 때문이다.

5.3회수량은 지표에 따라 크게 달라진다

효과의 크기는 두 지표에서 꽤 다르게 나온다. 20,000 표본에서 조건부 폰노이만 엔트로피 기준으로는 세 모델이 각각 2.8%, 3.0%, 3.7% 올랐다. 같은 실험을 order-2 형태인 조건부 RKE로 재면 18.2%, 20.7%, 20.3%다. 두 값을 평균 내거나 하나의 효과 크기로 합치면 안 된다. 서로 다른 양이기 때문이다. 어느 쪽으로 읽더라도 격차가 메워졌다고는 할 수 없고, 논문도 사후에 측정된 조건부 다양성을 높일 수 있다는 데서 표현을 멈춘다. 덧붙이면 이 실험의 재가중 전 값은 프리픽스마다 후보를 열 개씩 뽑아 만든 별도의 표본에서 나온 것이라, 앞 섹션들의 훈련 기준선과 나란히 놓고 비교할 수 있는 수가 아니다.

요약 과제에서의 실제 효용도 시험했다. 후보 여러 개 중 하나를 고르는 MBR 디코딩에서 후보 가중치를 이 투영으로 바꾼 변형은 세 세팅 모두에서 조건부 VNE와 Distinct-2가 가장 높고 Self-BLEU-2가 가장 낮았다. 품질 쪽은 신중하게 읽어야 한다. 비교 상대는 길이 정규화를 건 모델 기반 MBR이고, 테스트 입력 50개에 대해 2,000회 짝지은 부트스트랩을 돌린 결과 그 방법과의 ROUGE-L·BERTScore 차이의 95% 신뢰구간이 세 세팅 모두에서 0을 포함했다. 이는 차이를 확인하지 못했다는 뜻이지 차이가 없다는 뜻이 아니다. 실제로 XSum에서 ROUGE-L 값 자체는 그 방법의 0.350에서 0.331로 내려가 있다. 입력 50개로 품질 손실이 없다고 말하기에는 표본이 얇다.

뽑아 놓고 고치는 대신 뽑는 도중에 거는 지렛대도 하나 시험돼 있다. 같은 조건부 엔트로피를 확산 샘플링의 안내 신호로 넣으면 SDXL의 값이 30.25에서 32.27로 올라간다. 참조 데이터의 40.52에는 여전히 못 미치므로 격차를 좁히는 정도에서 멈춘다. 그리고 이 실험은 이미지 쪽에서만 했다. 언어모델의 디코딩 단계에 같은 신호를 걸어 본 결과는 논문에 없다.

정작 부족한 것은 방법보다 관행 쪽이다. 저자들이 공개한 조건부 벤디 점수 구현체는 개인 저장소에 별 네 개가 붙어 있고 PyPI 배포는 없다. 무조건부 벤디 점수 구현체도 별 164개 수준이다. 널리 쓰이는 모델 평가 프레임워크 HELM이 공식 핵심 지표로 삼은 일곱 가지는 정확도와 교정, 강건성, 공정성, 편향, 유해성, 효율인데 다양성은 여기에 없다. 재는 도구는 이미 논문으로 나와 있고, 재는 습관이 아직 없다.

데이터 품질 검사는 대체로 개별 레코드를 본다. 값이 비었는지, 형식이 맞는지, 라벨이 정확한지를 묻는다. 이 논문이 다루는 것은 그 검사를 전부 통과한 데이터셋에도 남아 있는 질문이다. 레코드 하나하나가 맞더라도 그것들이 모여 만드는 분포가 원본보다 좁아져 있을 수 있고, 좁아진 정도는 레코드 단위 검사로는 보이지 않는다. 분포와 커버리지를 재는 지표가 필요한 이유이고, 페블러스가 DataClinic에서 다뤄 온 축과 같은 계열의 측정이다.

생성 데이터를 학습에 되먹이는 파이프라인이라면 검사 항목이 하나 더 필요해진다. 넣기 전에 원본 코퍼스와의 조건부 다양성 격차를 재는 항목이다. 합성 데이터가 평균적인 능력은 유지하면서 가장자리를 먼저 깎아 내는 양상은 「합성 데이터와 역량 양극화」에서 다룬 적이 있는데, 이 논문의 낱말 감사가 보여 준 것도 결국 같은 모양이다. 총량은 비슷한데 고르지 않다.

지금 조직이 적용할 수 있는 최소 절차는 네 단계로 줄어든다. 기준이 될 코퍼스를 정하고, 거기서 뽑은 프리픽스로 양쪽의 짝 표본을 같은 조건에서 만들고, 어떤 디코딩 설정으로 몇 개를 뽑았는지를 기록하고, 그다음 나란히 잰다. 세 번째 항목을 흘려보내면 안 된다. 앞에서 본 대로 디코딩만 바꿔도 같은 모델의 격차가 35%대와 8%대를 오가고, 디코딩을 고정한 채 표본 크기만 바꿔도 20%대와 35%대를 오간다. 설정을 적어 두지 않은 다양성 수치는 다음 분기에 다시 재도 비교할 수 없다. 그리고 잰 다음에 되돌릴 수 있는 격차가 있다는 것, 그 회수가 재학습 없이 후보 재가중만으로 가능하다는 것까지가 이 논문이 실무에 건네는 부분이다. 정확도가 무엇을 재는지는 「데이터 품질의 수학」에 정리해 두었다.

마지막 항목이 가장 무겁다. 이 진단은 그 모델이 실제로 먹은 코퍼스가 있어야만 시작된다. 가중치가 공개된 것으로는 부족하다. 같은 프리픽스를 코퍼스에서 다시 뽑아 그 뒤에 무엇이 이어져 있었는지 읽어낼 수 있어야 하기 때문이다. 논문의 한계 문단이 그 사정을 그대로 적는다.

"for many widely used LLMs and generative AI models, the training data are not publicly accessible, making the analysis more difficult but potentially valuable."

널리 쓰이는 다수의 LLM과 생성 AI 모델은 학습 데이터에 접근할 수 없어 이 분석이 더 어려워지지만, 그만큼 값어치가 있을 수 있다. §7

OLMo와 Pythia, GPT-Neo가 뽑힌 이유는 성능이 아니라 이 조건이었다. 그리고 그 조건을 확실히 만족하는 계열은 지금도 손에 꼽는다. Ai2의 OLMo 계열과 EleutherAI의 The Pile 계열이 사실상 전부다. 성능 상위 모델일수록 공개성이 낮아지는 경향은 「HAI AI 인덱스 2026」에서 이미 확인한 바 있다. 그러니까 공개성은 투명성 구호가 아니라 품질 측정의 전제 조건이다. 코퍼스를 열지 않은 모델은 이 검사를 받을 수 없고, 검사를 받을 수 없다는 것은 좁아졌는지 아닌지를 아무도 말할 수 없다는 뜻이다. 출력의 폭이 줄어드는 일이 개별 서비스의 품질을 넘어 어디까지 번지는지는 「AI 도구는 넓히고 영향은 좁힌다」에서 다뤘다.

이 논문에서 가장 오래 남는 문장은 표 안에 있지 않다. 세 계열만 시험한 이유를 적은 한계 문단에 있다. 모델의 다양성을 재려면 기준선이 있어야 하고, 기준선은 그 모델이 실제로 먹은 코퍼스다. 그게 없으면 진단 자체가 시작되지 않는다. 정확도 검사만 통과한 데이터는 다음 학습에서 조용히 문제를 만든다. 맞다와 고르다는 다른 검사다. 읽어 주셔서 감사하다.

이 글의 모든 수치는 arXiv:2609.02275 v1의 본문과 부록 전문을 직접 받아 표 단위로 대조해 인용했다. 상대 격차 백분율은 논문에 없는 값으로, 별도 표기가 없는 한 각 표의 훈련 기준선 대비로 페블러스가 계산했다. 선행연구 목록은 논문의 참고문헌을 통한 간접 인용이며 원문을 직접 열어 확인하지는 않았다.

1차 문헌

• 1.Youqi Wu & Farzan Farnia, "Do Large Language Models Capture the Diversity in their Training Data?" arXiv:2609.02275v1 [cs.CL] (Sept. 2, 2026). 홍콩중문대 컴퓨터과학공학과. CC BY 4.0. 링크

지표 계보

• 2.Mohammad Jalali, Azim Ospanov, Amin Gohari & Farzan Farnia, "Conditional Vendi Score: An Information-Theoretic Approach to Diversity Evaluation of Prompt-based Generative Models," AISTATS 2026 — 이 논문이 쓰는 지표의 출처. 코드 mjalali/conditional-vendi
• 3.Farzan Farnia, Mohammad Jalali & Azim Ospanov, 무조건부 생성모델의 폰노이만 엔트로피 격차 실측 (ICLR 2026 워크숍) — 이 논문이 조건부로 확장한 선행 실측.
• 4.Dan Friedman & Adji Bousso Dieng, "The Vendi Score: A Diversity Evaluation Metric for Machine Learning." 코드 vertaix/Vendi-Score

선행 보고 (논문 부록 A 경유)

• 5.Yun et al., LLM의 diversity collapse — 서식·지시 구조가 의미적으로 유사한 출력을 유도한다는 보고.
• 6.Dombrowski et al., 이미지 생성모델이 학습 분포 다양성의 일부만 커버한다는 보고.
• 7.Wang & Chan, 캡션 생성모델의 다양성이 사람보다 낮다는 보고.

모델·데이터셋

• 8.Dirk Groeneveld et al., "OLMo: Accelerating the Science of Language Models," arXiv:2402.00838. 체크포인트 allenai/OLMo-1B-hf
• 9.Stella Biderman et al., "Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling." 체크포인트 EleutherAI/pythia-1b, pythia-2.8b, pythia-6.9b — 세 크기 모두 The Pile 1에폭 약 3,000억 토큰.
• 10.Luca Soldaini et al., "Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research." ODC-BY. Dolma 3 믹스는 allenai/dolma3_mix-6T
• 11.Leo Gao et al., "The Pile: An 800GB Dataset of Diverse Text for Language Modeling," arXiv:2101.00027. 링크
• 12.EleutherAI, GPT-Neo 저장소 — README가 2021년 8월 유지보수 중단을 명시. 체크포인트 EleutherAI/gpt-neo-1.3B

페블러스 관련 발행물

• 13.페블러스, 「LLM 학습 데이터셋 가이드」. 링크
• 14.페블러스, 「AI가 AI 데이터를 먹을 때」. 링크
• 15.페블러스, 「합성 페르소나의 교차 소실」. 링크
• 16.페블러스, 「합성 데이터와 역량 양극화」. 링크
• 17.페블러스, 「데이터 품질의 수학」. 링크
• 18.페블러스, 「HAI AI 인덱스 2026」. 링크
• 19.페블러스, 「AI 도구는 넓히고 영향은 좁힌다」. 링크