Executive Summary

편집자의 노트. 데이터와 AI의 경계를 측정하는 일이라면 페블러스는 늘 관심이 간다. 그 경계가 기초과학 발견의 신뢰에 관한 것이라면 더욱 그렇다. 이 글은 물리학 해설서가 아니다. 물리학은 AI 검증의 한계가 가장 선명하게 드러나는 사례일 뿐, 본론은 그 검증 방법론을 데이터 실무의 언어로 옮기는 데 있다. 8월 1일 「재현할 수 없는 도구로 하는 과학」이 도구의 불투명성을 물었다면, 이 글은 그다음 질문, 곧 검증의 설계를 다룬다. 자연과학×AI 검증 시리즈의 완결편이다.

주요 수치

네 숫자가 이 글의 뼈대다. 모두 'AI가 쏟아낸 규모'와 '실제로 검증된 규모'의 간극을 보여준다.

"AI를 과학에 쓸 것인가"는 이미 지난 논쟁이다. 물리학의 최전선에서 AI는 도구가 아니라 의사결정의 일부다. LHCb 실험에서는 초당 수천만 번 일어나는 입자 충돌 가운데 무엇을 저장하고 무엇을 버릴지, 즉 무엇을 '볼지'를 판단하는 트리거 시스템의 상당 부분이 머신러닝으로 돌아간다. 물리학자 Mike Williams의 표현대로, 머신러닝은 이미 입자물리의 실험 파이프라인 곳곳에 퍼져 있다. 생성모델은 검출기 시뮬레이션을 전통적 방법보다 수천에서 수만 배 빠르게 대체하고 있다. 남은 질문은 "AI를 쓸까"가 아니라 "AI가 낸 결과를 누가, 무엇으로 채점하는가"다.

이 전환이 가장 극적으로 보이는 사례가 재료과학이다. 딥마인드의 GNoME은 하룻밤 사이에 220만 개의 안정한 결정 구조를 예측했다(Merchant et al., Nature 2023). 인간 화학자 수백 년의 축적을 하루로 압축한 규모다. 그런데 그 220만 개 가운데 다른 연구실이 실제로 합성해 독립 검증한 것은 지금까지 약 736개, 전체의 0.03% 남짓에 불과하다. 예측은 생성의 속도로 쏟아지고, 검증은 실험의 속도로 기어간다. 이 세 자릿수, 네 자릿수의 간극이 이 글 전체의 출발점이다.

다만 이 0.03%를 곧바로 "AI의 실패"로 읽는 것은 성급하다. GNoME 연구진은 검증율이 낮은 이유가 실험 화학의 속도가 느리기 때문이지 모델의 결함이 아니라고 반박한다. 반대로 케임브리지의 Anthony Cheetham과 UC 산타바바라의 Ram Seshadri 같은 재료과학자들은 예측된 구조의 상당수가 이미 알려진 물질의 사소한 변형(trivial variant)이라 진정한 신규성이 과장됐다고 지적한다(404 Media 보도). 어느 쪽이 옳든, 이 논쟁이 존재한다는 사실 자체가 핵심이다. AI가 낸 산출물을 '발견'으로 채점하는 일은 그 자체로 어렵고, 논쟁적이며, 아직 합의된 규칙이 없다.

검증 게이트를 어디에 세울지 정하려면, 먼저 AI가 절대 넘지 못하는 선이 어디인지 알아야 한다. Grosso 외(2026)는 그 선을 세 개의 못으로 박는다. 셋 다 "더 큰 모델·더 많은 데이터·더 많은 연산"으로 소거되지 않는 구조적 한계라는 점이 중요하다. 스케일이 해결해 주지 않기 때문에, 인간의 판단이 반드시 개입해야 하는 자리이기도 하다.

2.1귀납 편향 — 모든 것을 푸는 학습기는 없다

첫 번째 못은 학습 이론의 오래된 정리, 이른바 '공짜 점심은 없다(No Free Lunch)'에서 온다. 모든 문제를 똑같이 잘 푸는 보편 학습기는 존재하지 않는다. 어떤 모델이 특정 문제에서 좋은 성능을 내는 이유는 그 문제의 구조에 맞는 귀납 편향(무엇을 우선 가정할지에 대한 사전 편향)을 갖고 있기 때문이다. 물리학에서 이 편향은 임의로 고를 수 있는 것이 아니다. 대칭성, 보존 법칙, 국소성 같은 물리의 원리가 어떤 편향이 옳은지를 결정한다. 저자들은 이 지점에서 물리학자의 역할이 시작된다고 본다. 어떤 편향을 모델에 넣을지 고르는 일은 데이터가 대신해 줄 수 없는, 이론적 판단의 문제다.

2.2표본 복잡도 — 유한한 관측자의 정보 한계

두 번째 못은 정보에 접근하는 비용이다. 자원이 유한한 관측자는 원하는 만큼 데이터를 얻을 수 없고, 어떤 신호는 근본적으로 희소하다. 이 한계의 양극단을 물리학이 그대로 보여준다. 한쪽 끝에는 암흑물질 직접 탐색 실험이 있다. 검출기 1톤을 1년간 가동해도 기대되는 신호가 1건에 못 미칠 만큼 사건이 희귀하다. 반대쪽 끝에는 LHC가 있어, 초당 약 10억 번의 양성자 충돌이 일어난다. 데이터가 극단적으로 부족한 영역과 극단적으로 넘치는 영역, 그 어느 쪽에서도 "표본을 더 모으면 된다"는 해법은 통하지 않는다. 희소한 쪽은 물리적으로 더 모을 수 없고, 넘치는 쪽은 무엇을 버릴지가 문제가 된다.

2.3실험 제약 — 버려진 정보는 되살릴 수 없다

세 번째 못이 가장 실무적이다. 검출기는 세상의 모든 정보를 담지 못한다. LHC는 발생하는 충돌 데이터의 99% 이상을 저장조차 하지 못하고 실시간으로 폐기한다. 무엇을 남기고 무엇을 버릴지는 트리거 시스템이 결정하는데, 그 트리거를 설계하는 것은 결국 "무엇이 흥미로운 물리인가"에 대한 인간의 사전 판단이다. 여기서 결정적인 함의가 나온다. 한번 버려진 정보는 아무리 정교한 AI로도 복원할 수 없다. 모델이 학습하는 것은 이미 인간이 골라낸 데이터일 뿐이다. AI가 "발견"을 하더라도, 그 발견은 애초에 검출기가 볼 수 있도록 설계된 창(窓) 안에서만 가능하다.

AI가 발견 후보를 자동으로 쏟아내면, 병목은 생성이 아니라 검증으로 옮겨간다. 무엇이 진짜 발견인지 판단하는 일, 그러니까 실험을 설계하고 통계적 유의도를 판정하고 물리 법칙과의 정합성을 확인하는 일은 여전히 인간의 몫이다. Grosso 외(2026)는 이 전환을 한 문장으로 압축한다. 물리학자의 판단이 "과학적 엄밀성을 AI 시스템에 새겨 넣는다(judgments encode scientific rigor into AI systems)". 즉 검증은 모델 바깥에서 나중에 붙이는 도장이 아니라, 파이프라인의 설계 단계마다 인간의 판단이 개입해 들어가는 구조여야 한다.

저자들은 이 판단을 체계화하기 위해 VERaiPHY(Validation & Evaluation for Robust AI in PHYsics)라는 검증 프레임을 제안한다. 일반적인 머신러닝 검증이 정확도나 손실 같은 단일 지표에 기대는 반면, VERaiPHY는 서로를 보완하는 여러 영역을 함께 본다. 생성모델의 신뢰성, 시뮬레이션 기반 추론(simulation-based inference), 불확실성 정량화, 해석 가능성, 그리고 무엇보다 '미지의 미지(unknown unknowns)', 곧 모델이 학습 분포 밖에서 마주치는 예상하지 못한 신호를 탐지하는 능력까지. 여기에 물리 고유의 축인 대칭성·표현 학습과, 특정 모델을 전제하지 않는 신호 탐색이 더해진다. 논문은 구체적인 임계값이나 통과 점수를 못박지는 않는다. 대신 이 영역들이 상호 보완적으로 작동해야 한다는 원칙을 제시한다.

여기서 물리학이 특별한 자산을 갖는다. 이 분야는 이미 세계에서 가장 엄격한 검증 문화를 제도로 갖추고 있다. 물리학은 새로운 입자나 현상을 '발견'으로 선언하기 전에 5시그마(5.0σ) 기준을 요구한다. 관측된 신호가 우연일 확률이 약 350만분의 1(p≈2.9×10⁻⁷) 이하여야 한다는 뜻이다. 2012년 힉스 보손 발견이 이 문턱을 넘고서야 공식 인정된 것이 대표적이다. 재현에 대한 태도도 다르다. 한 Nature 설문에서 물리·공학 연구자의 재현성 인식 수준은 조사 대상 분야 가운데 가장 높은 축에 속했다. AI 검증 체계를 새로 짜야 하는 다른 산업들이 참고할 가장 성숙한 모범이 바로 여기 있다.

저자들은 이 프레임이 입자물리에만 갇히지 않는다고 본다. 천체물리에서는 우주의 희귀 현상을, 우주론에서는 관측 불가능한 초기 우주의 매개변수를 다뤄야 하고, 각 도메인마다 세 한계가 다른 얼굴로 나타난다. 공통점은 하나다. AI는 후보를 제안할 수 있지만, 그것을 결론으로 승격시키는 마지막 관문에는 언제나 인간 평가자가 서 있어야 한다는 것.

지금까지의 이야기는 물리학의 것이었다. 하지만 세 한계를 물리 용어에서 데이터 용어로 옮겨 놓으면, 그것은 곧바로 데이터 실무자의 문제가 된다. 표본 복잡도는 '학습 데이터가 대상을 충분히 대표하는가'의 문제이고, 실험 제약은 '측정·수집 단계에서 무엇을 버렸고 그 손실을 모델이 복원한다고 착각하지 않는가'의 문제다. 귀납 편향은 '어떤 가정을 데이터가 아니라 사람이 넣었는가'의 문제다. 이것이 데이터 준비도(data readiness)에서 발견 준비도(discovery readiness)로의 이동이다.

둘의 차이는 질문의 위치에 있다. 데이터 준비도는 학습 이전을 물어 'AI가 학습할 수 있는 데이터인가'를 따진다. 발견 준비도는 산출 이후까지 물어 'AI가 낸 산출물을 결론으로 승격시킬 수 있는 검증 체계인가'를 따진다. 발견 준비도는 데이터 준비도를 폐기하지 않는다. 그 위에 검증이라는 층을 하나 더 쌓는다. 아래 표는 논문의 세 한계를 각각 데이터 요구사항과 검증 게이트로 역번역한 것이다. 물리학이 아닌 어떤 도메인에도 그대로 옮겨 쓸 수 있는 발견 준비도 체크리스트의 초안이다.

이 표가 페블러스에게 낯설지 않은 이유가 있다. 왼쪽 두 열, 곧 대표성·희소성·측정 손실·계보는 DataClinic이 데이터 품질을 진단할 때 이미 보는 항목들이다. 발견 준비도는 그 품질 게이트를 산출물 검증까지 밀어 올린 상위 프레임이라 할 수 있다. 데이터가 조직에 미치는 비용은 이미 정량화돼 있다. 가트너는 저품질 데이터가 조직당 연평균 약 1,290만 달러의 손실을 낳는다고 추정했고, 여러 조사에서 데이터 과학자가 분석 이전의 데이터 준비에 쓰는 시간은 전체 업무의 절반에서 최대 80%에 이르는 것으로 나타난다(집계 기준에 따라 편차가 크다). 산출물을 검증 없이 결론으로 올렸을 때의 비용은 여기에 더해지는 몫이다.

7월 11일 다뤘던 월드 모델의 물리 검증, 곧 "생성된 영상은 물리적으로 옳은가"를 따지는 작업(PebbloSim/합성데이터의 물리적 타당성 검증)은 발견 준비도의 물리학 버전이다. 합성 데이터가 물리 법칙을 어기지 않는지 확인하는 일과, AI가 예측한 신물질이 실제로 합성 가능한지 확인하는 일은 같은 종류의 게이트다. 둘 다 "생성된 것을 신뢰 가능한 것으로 승격시키기 전에 무엇을 통과시켜야 하는가"를 묻는다.

'평가자 물리학자' 모델은 매력적이지만, 스스로 세 가지 반론을 부른다. 첫째, 평가자의 편향이다. 인간이 검증한다고 해서 판단이 객관적이라는 보장은 없다. 무엇을 흥미로운 발견으로 볼지에 대한 선호 자체가 또 하나의 귀납 편향이다. 둘째, 확장성이다. AI가 생성하는 후보의 양이 인간의 검증 능력을 압도하기 시작했다. 곧 가동될 베라 루빈 천문대(Vera C. Rubin Observatory)는 하룻밤에 1,000만 건 규모의 천체 변동 알림을 쏟아낼 것으로 예상된다. 한 사람 한 사람이 검증하는 방식으로는 감당할 수 없는 규모다. 셋째, 가장 근본적인 무한후퇴다. 평가자를 누가 검증하는가.

이 무한후퇴가 공허한 철학이 아니라는 것을, 검증 인프라의 현재 상태가 증명한다. AI 모델을 평가하는 벤치마크 자체가 오염돼 있다. 학습 데이터에 평가 문제가 새어 들어가는 데이터 오염은 대상에 따라 편차가 크지만, 일부 다국어 벤치마크에서는 최대 91.8%에 이른다는 보고가 있고, 널리 쓰이는 MMLU에서도 상당한 오염이 확인됐다. 코드 능력 평가의 표준으로 쓰이던 SWE-bench의 검증된 하위 과제 상당수가 결함 있는 테스트로 밝혀져 퇴역하기도 했다. 학계 전반에서는 논문 철회가 연 1만 건을 넘어섰고, AI가 지어낸 가짜 인용이 논문에 섞여 드는 사례도 늘고 있다. 검증하는 도구들이 이미 과부하 상태다.

논문도 이 무한후퇴에 완결된 해답을 주지는 않는다. 다만 현실적인 방향은 있다. 검증을 단일 심판에 맡기지 않고 여러 층, 곧 자동 지표·인간 판단·독립 재현·외부 실험으로 분산하고, 각 층이 어디까지 확신하는지를 정량화하는 것이다. 자동 검증은 규모를 감당하고, 인간 판단은 자동화가 놓치는 미지의 미지를 붙잡는다. 완벽한 심판은 없지만, 서로 다른 실패 양식을 가진 심판들을 겹쳐 놓으면 한 층의 맹점을 다른 층이 메운다. 발견 준비도란 결국 이 다층 게이트를 어떻게 설계할 것인가의 문제다.

참고문헌

학술 (1차·핵심)

• 1.Grosso, G., Mikuni, V., & Heinrich, L. (2026). Are We Ready for AI-Driven Discovery? AI Verification Before the Next Fundamental Physics Breakthrough. arXiv:2607.10039. arxiv.org/abs/2607.10039
• 2.Merchant, A. et al. (2023). Scaling deep learning for materials discovery (GNoME). Nature 624, 80–85. nature.com
• 3.Baker, M. (2016). 1,500 scientists lift the lid on reproducibility. Nature 533, 452–454. nature.com/articles/533452a

정책·통계·업계

• 4.Williams, M. / Symmetry Magazine. Machine learning proliferates in particle physics — LHCb 트리거의 머신러닝 활용. symmetrymagazine.org
• 5.ScienceAlert. Over 99% of LHC particle collision data is lost. sciencealert.com
• 6.Vera C. Rubin Observatory / LSST — 광역 시계열 관측, 밤당 대규모 천체 변동 알림. rubinobservatory.org
• 7.Gartner (2020). Data Quality Market Survey — 저품질 데이터의 조직당 연간 손실 추정.
• 8.Cheetham, A. K., & Seshadri, R. (2024). GNoME 구조 참신성에 대한 비판 (404 Media 보도 인용).
• 9.European Union. AI Act (Regulation (EU) 2024/1689) — 고위험 AI 시스템 검증 의무 (2026-08-02 집행). eur-lex.europa.eu

페블러스 인접 (시리즈)

• 10.페블러스 (2026-08-01). 재현할 수 없는 도구로 하는 과학. blog.pebblous.ai — 직접 선행편.
• 11.페블러스 (2026-06-21). AI는 답이 아니라 질문을 바꾼다. blog.pebblous.ai — 발견 3단계 프레임.