Executive Summary

주요 수치

출처: Uzunoglu 외, Tracing the Scientific Discovery Capacity of LLMs to Their Training Data, arXiv:2611.03617(2026)

모노팩트는 훈련 세트에서 정확히 한 번만 관찰된 사실이다. 모노팩트 비율은 그런 사실의 개수를 전체 문서 수로 나눈 값이고, 논문은 이것을 μ̂로 적는다. 이런 수는 통계학에서 오래전부터 쓰였다. 표본에 딱 한 번씩만 나온 원소가 많다면 모집단에는 아직 못 본 원소가 그만큼 더 남아 있다고 보는 굿-튜링 추정이 그것이고, 앨런 튜링과 어빙 굿이 2차 대전 중 암호 해독 작업에서 쓴 계산법으로 알려져 있다.

'사실 하나'를 무엇으로 셀지는 분야마다 다르게 정했다. 재료과학에서는 화학계, 그러니까 재료를 이루는 원소들의 집합을 한 단위로 본다. 물(H₂O)과 과산화수소(H₂O₂)는 서로 다른 물질이지만 둘 다 H-O라는 한 화학계에 속한다. 조절 유전체에서는 그런 자연스러운 묶음이 없어서 서열이 얼마나 겹치는지로 선을 그었다. 훈련 세트의 다른 어떤 예제와도 150염기를 넘게 겹치지 않는 DNA 서열이 모노팩트다.

2024년 칼라이와 벰팔라는 이 수가 환각률의 하한을 준다는 것을 보였다. 모델이 잘 보정돼 있다면, 훈련 데이터에 한 번짜리 사실이 나타나는 빈도만큼은 거짓 문장을 생성하게 된다는 뜻이다. 그 틀에서 보지 못한 문장은 대체로 거짓으로 취급되고, 그래서 발견이 들어설 자리가 없다. 이번 논문은 그 공간을 셋으로 나눈다. 훈련에서 본 관측 지대, 아직 못 봤지만 참일 법한 후보 지대, 그리고 그 바깥의 임의 지대다. 발견은 가운데 후보 지대에 산다.

단서가 하나 붙는다. 칼라이와 벰팔라는 사실을 두 종류로 갈라 두었다. 『샤이닝』이 1977년에 나왔다는 것처럼 관찰로만 배울 수 있는 임의의 사실이 한쪽이고, 2.345754가 8.754보다 작다는 것처럼 규칙에서 따라 나오는 체계적 사실이 다른 쪽이다. 한 번짜리 사실을 세는 이론이 걸리는 곳은 앞의 임의적 사실이다. 그런데 발견은 둘 중 어디에도 깔끔하게 들어가지 않는다고 저자들은 본다. 연역이나 귀납보다는 귀추, 그러니까 그럴듯한 추측에서 가설을 세우는 일에 가깝기 때문이다. 논문은 이 대목에서 뉴턴의 말을 끌어온다. 대담한 추측 없이 이루어진 위대한 발견은 없다. 후보 지대는 그 추측이 설 자리를 만들어 주려고 그은 띠다.

이 구조 위에서 정리 6과 정리 7이 나온다. 하나는 모델이 발견에 걸 수 있는 확률의 천장을, 다른 하나는 바닥을 모노팩트 비율로 적는다. 천장은 그 비율에 비례하고, 바닥은 거기에 모델이 후보 지대 대신 임의 지대로 새어 나가는 정도를 곱해 깎는다. 요지는 한 줄로 줄어든다. 훈련 데이터에 한 번짜리 사실이 없으면 모델이 발견할 수 있는 양의 상한부터 낮아진다.

이론을 확인하려면 모델이 진짜로 모르는 정답을 맞혀야 한다. 연구진은 시간을 기준으로 훈련과 평가를 갈랐다. 재료과학에서는 머티리얼스 프로젝트의 2024년 11월 14일 스냅샷으로 훈련하고, 2025년 9월 25일 스냅샷에 처음 등장한 화학식만 평가에 썼다. 열 달 남짓 사이에 사람이 새로 등록한 재료들이다. 유전체 쪽 데이터는 2024년 10월에 공개된 MPRA 실험 결과라 두 모델의 지식 범위보다 늦고, 그래서 여기서는 무작위로 떼어 놓는 방식을 썼다.

모노팩트 비율 r은 두 분야 모두 0.0부터 1.0까지 0.1 간격으로 열한 단계를 만들었다. 출처: 논문 4.1절.

2단계 지도 자료는 Claude Opus 5가 만들었다. 교사 모델에는 정답을 함께 주되, 그 답에 이르는 과정을 입력에 들어 있는 제약 조건과 구조 정보에서 끌어내 적게 했다. 재료과학에서는 원소 이름이나 조성이 드러나는 항목을 입력에서 모두 지우고 격자 상수 같은 기하 정보만 남겼고, 조절 유전체에서는 정답 서열과 편집 좌표를 검산용으로만 쓰고 추론 과정에 인용하지 말라고 지시했다. 그렇게 만든 추론 과정이 재료 6,865건과 유전체 6,000건이고, 생성 비용은 1,661.63달러였다고 부록에 적혀 있다.

모델은 gpt-oss-20b와 gemma-3-12b-it 둘이다. 지식 범위가 각각 2024년 6월과 8월이라 두 평가 세트보다 앞선다. 발견은 너그럽게 세지 않았다. 정답 화학식이나 정답 DNA 서열을 글자까지 정확히 복원해야 한 건으로 친다. 평가는 결정론적으로 한 번 생성하는 pass@1과, 온도 1.0으로 열여섯 번 생성해 하나라도 맞으면 성공으로 치는 pass@16을 함께 돌렸다.

결과는 분야 둘, 모델 둘, 훈련 단계 둘, 평가 방식 둘을 모두 곱한 열여섯 가지 조합에서 같았다. 모노팩트 비율이 오를수록 발견이 단조로 늘었다. 열여섯 번 뽑으면 절대 발견율 자체가 크게 오르고 2단계 추론 지도를 거치면 또 오르지만, 비율과 발견 사이의 기울기는 그대로 남는다. 추론 예산을 낮음·중간·높음으로 바꿔 다시 평가해도 마찬가지였다. 생각을 더 오래 시킨다고 해서 데이터에 없던 한 번짜리 사실이 메워지지는 않았다.

여기까지 읽고 떠오르는 반론이 하나 있다. 한 번만 나온 화학계를 늘리면 훈련 세트에 들어가는 화학계 종류 자체가 늘어난다. 그렇다면 성적을 올린 것은 희귀함이 아니라 그냥 다양함 아닌가. 저자들은 이 반론을 먼저 꺼내 놓고, 부록에서 자기 데이터로 그 혐의를 인정한다. 실제로 모노팩트 비율이 높은 세트일수록 서로 다른 화학계의 비중도 함께 올라가 있었다. 두 변수는 본 실험 설계 안에서 붙어 있었다.

둘이 다른 것이라는 점은 네 칸짜리 예시로 보인다. 다양성은 서로 다른 화학계의 비중이고, 모노팩트 비율은 그중 딱 한 번만 나온 것의 비중이다.

가운데 줄과 아래 줄은 다양성이 같지만 모노팩트 비율이 다르고, 위 두 줄은 모노팩트 비율이 같지만 다양성이 다르다. 출처: 논문 Table 1.

둘을 떼어 내는 방법은 데이터를 아예 건드리지 않는 것이었다. 훈련 세트는 그대로 두고, 2단계에서 같은 데이터를 세 번과 다섯 번 반복해 학습시켰다. 화학식도 화학계도 원소도 그대로이니 다양성의 차이는 세트별로 고스란히 남는다. 반면 한 번만 등장하던 화학계는 세 번·다섯 번 보이게 되므로 실질 모노팩트 비율은 모든 세트에서 0에 가까워진다. 다양성이 범인이라면 추세가 남아야 하고, 희귀함이 범인이라면 추세가 사라져야 한다.

사라졌다. 1 에포크에서는 모노팩트 비율과 함께 오르던 발견이, 3 에포크와 5 에포크에서는 단조 관계를 잃었다. 비율이 높은 쪽에서는 한 번만 본 조건이 세 번·다섯 번 본 조건보다 pass@1과 pass@16 모두에서 발견이 많았다. 더 오래 학습시켰더니 발견이 줄어든 셈이라, 1 에포크의 추세를 학습 부족 탓으로 돌릴 수도 없다. 다양성은 용의선상에서 빠졌다.

혐의자가 하나 더 있었다. 비율이 높은 쪽에서 모델의 확률 추정이 더 정확해진 것이라면, 늘어난 발견을 보정 품질의 개선으로 설명할 수 있다. 저자들은 pass@16 생성에서 화학식별 빈도를 모아 기대 보정 오차를 쟀다. 비율이 달라져도 보정은 대체로 같은 자리에 머물렀고, gpt-oss-20b 쪽에서 오차가 조금 줄기는 했지만 발견 증가를 그것으로 돌리기에는 모자랐다.

발견과 환각은 같은 주머니에서 나온다. 둘 다 훈련에서 보지 못한 몫이고, 모노팩트 비율을 올린다는 것은 그 주머니를 키운다는 뜻이다. 그러면 참인 답이 나올 여지도 거짓인 답이 나올 여지도 함께 커진다. 저자들은 이것을 교환비로 못 박는다. 후보 지대의 문장이 참일 확률이 절반이면 발견 하나에 환각 하나다. 확률을 1 쪽으로 올리면 비율은 좋아지지만 후보가 이미 아는 것 근처로 쏠려 발견이 시시해지고, 0 쪽으로 내리면 야심 찬 후보를 보는 대신 잡음이 커진다.

실제 측정은 평가 자리를 셋으로 갈라서 했고, 자리마다 답이 달랐다. 훈련에 실제로 쓴 예제, 같은 2024년 11월 스냅샷에서 떼어 두고 학습에는 쓰지 않은 예제, 그리고 열 달 뒤 스냅샷에서 새로 생긴 2025년 9월 평가 예제다. 앞의 둘은 훈련과 같은 분포를 보고, 마지막 하나만 분포가 옮겨 간 자리를 본다.

재료과학 영역에서 gpt-oss-20b로 측정한 결과. 출처: 논문 4.3절과 부록 C.

세 번째 줄이 이 논문을 발견에 관한 이야기로 만드는 근거다. 저자들은 그 차이를 분포 이동으로 설명한다. 훈련 세트들과 각 평가 세트의 원소 빈도 분포를 옌센-섀넌 발산으로 견주면, 같은 스냅샷에서 떼어 낸 홀드아웃은 0.0078인 데 비해 열 달 뒤 테스트셋은 0.1006이다. 열세 배에 가까운 차이이고, 이 정도로 멀어진 평가 세트 앞에서는 모델이 내놓는 답이 어차피 거의 전부 미관찰이다. 더 키울 총량이 없으니 비율이 올라간 몫은 구성을 바꾸는 쪽으로 간다.

뒤집어 말하면 조건이 붙는다. 실제로 새로운 사실이 생겨난 과녁을 겨눌 때라야 모노팩트가 발견으로 환전된다. 어제 본 분포 안에서 변주를 찍어 내는 일에 같은 처방을 쓰면 늘어나는 것은 틀린 답이다. 모노팩트 비율을 올리는 것이 공짜 개선이 아니라는 뜻이고, 이 논문이 '희귀 데이터 예찬'으로만 읽히면 안 되는 이유도 여기에 있다.

모노팩트가 발견력을 키운다면, 아무 분야의 희귀 데이터나 섞어도 될까. 연구진은 재료과학을 과녁으로 두고 유전체 데이터로 이 질문을 시험했다. 두 조건을 비교했다. 하나는 재료 데이터를 모노팩트 비율 1.0으로 깔아 둔 위에 유전체 4천 건을 얹고 그쪽 비율만 움직이는 혼합 조건, 다른 하나는 유전체만 학습한 모델을 재료 과제에 그대로 데려오는 순수 교차 조건이다.

혼합 조건에서는 효과가 건너왔다. 유전체 쪽 모노팩트 비율이 오를수록 재료 발견이 대체로 늘었고, 비율 1.0으로 섞은 모델은 재료 데이터만 쓴 기준선을 두 지표 모두에서 조금 웃돌았다. 다만 본 실험과 달리 단조는 아니었다. 순수 교차 조건에서는 발견율 자체가 크게 떨어지고 모노팩트 비율과의 관계도 사라졌다.

결론은 조건부다. 다른 분야의 한 번짜리 사실은 같은 분야 데이터가 곁에 있을 때 발견을 거든다. 분야에 상관없이 작동하는 범용 발견력을 만들어 주지는 않는다. 저자들이 스스로 그은 선도 함께 적어 둔다. 이론의 천장과 바닥은 후보 지대의 참 확률 두 값에 기대는데, 그 값은 실제로 추정하기 어렵다. 그래서 논문이 주장하는 것은 경계선의 구체적인 숫자가 아니라 모노팩트 비율과 발견이 함께 움직인다는 관계다. 남겨 둔 숙제도 분명하다. 사전학습부터 사후학습까지 긴 공정을 지나는 동안 모노팩트 비율이 어떻게 변하는지, 한 단계에서 넣은 한 번짜리 사실이 다음 단계에서 지워지는지는 아직 아무도 측정하지 않았다.

여기부터는 논문 밖이다. 데이터를 만드는 쪽의 상식은 오랫동안 한 방향이었다. 중복을 지우고, 품질이 검증된 사례를 충분히 반복해 보여 준다. 근거도 충분했다. 중복은 비용이고, 드물게 나온 데이터는 외워지지 않거나 사고를 낸다. 논문도 맺음말에서 선행 연구를 그렇게 추린다. 드문 지식일수록 사실 회상이 불안정하고, 한 번만 남은 데이터는 프라이버시와 안전 문제를 만들며, 모델이 만든 데이터로 다시 학습하면 분포의 꼬리부터 지워진다. 셋 다 롱테일을 위험으로 읽는다. 페블러스도 중복 제거의 속도와 재현율을 맞바꾸는 문제를 조기 중단 규칙에서 다룬 적이 있다. 그때 질문은 중복 제거를 얼마나 할 것인가였다.

이번 측정은 그 앞의 질문을 세운다. 무엇을 지우면 안 되는가. 정제 공정이 가장 먼저 걷어 내는 것은 보통 한 번만 등장해 검증하기 까다로운 사례들이고, 이 논문의 좌표에서 그것들이 바로 모노팩트다. 중복 제거가 공짜 이득이 아니라 발견력과 맞바꾸는 거래라면, 그 거래에 값이 매겨진 적이 있는지부터 물어야 한다. 과학적 발견을 AI에 기대하는 흐름 자체는 페블러스도 AI가 다시 쓰는 과학의 질문에서 짚은 바 있는데, 이 논문은 그 능력이 어디서 오는지를 훈련 데이터의 통계로 되짚는다는 점에서 한 칸 아래를 본다.

과장은 경계해야 한다. 측정은 1만 건과 2만 건 규모의 미세조정 데이터에서 비율을 인위적으로 만들어 돌린 것이고, 사전학습 코퍼스 전체의 중복 제거 정책으로 바로 옮겨도 된다고 논문이 적지는 않았다. 그래도 데이터 공정을 설계하는 자리에서 물어볼 만한 것이 셋 남는다.

• 우리 정제 파이프라인은 '한 번만 나온 사례'를 어떤 기준으로 버리는가. 유사도 임계값이 그 선을 어디에 긋는지 아는 사람이 있는가.
• 정제 전과 후의 모노팩트 비율을 재 본 적이 있는가. 한 번만 나온 항목의 비중은 지금 당장 셀 수 있다.
• 우리는 모델이 아는 것을 정확히 되풀이하기를 바라는가, 아니면 아직 없는 답을 내놓기를 바라는가. 두 목표는 같은 데이터를 다르게 요구한다.

여기까지 읽어 주셔서 감사하다. 원문은 arXiv:2611.03617에서 볼 수 있다. 사내 데이터에서 정제 전후의 모노팩트 비율을 실제로 세어 본 팀이 있다면, 그 수가 얼마나 달라졌는지 들려주시면 좋겠다.