Executive Summary

주요 수치

출처: Tenachi 외, Do Tabular Foundation Models Know Physics? arXiv:2609.02766v1(2026-09-02) 본문 및 부록 A~E

표 파운데이션 모델의 학습 방식은 언어모델과 닮았다. 표의 값 일부를 가린 뒤 나머지 맥락에서 그 값을 되살리게 훈련한다. 행과 열의 순서를 바꿔도 결과가 같고, 대부분은 셀마다 하나의 값이 아니라 예측 분포 전체를 내놓는다. 새 과업이 주어져도 학습을 다시 돌리지 않는다. 데이터를 컨텍스트에 넣고 한 번 통과시키면 끝이다. 학습 재료는 대개 합성 구조인과모델로, 노드마다 부모 값에 독립적인 잡음을 더해 만든 무작위 그래프를 대량으로 찍어 낸 것이다.

이 구조에는 한 가지 성질이 따라온다. 적절한 채점 규칙 아래 사전분포에서 뽑은 표본으로 사전학습을 하면, 모델의 한 번 통과는 사후예측분포의 근사가 된다. 그래서 이런 모델을 두고 물을 것은 정확도가 아니라 사전분포의 내용물이라는 게 저자들의 출발점이다. 무엇을 미리 믿고 들어가는 모델인가. 이 물음을 가장 깨끗하게 던지는 방법이 답을 이미 아는 데이터, 곧 물리 법칙에서 뽑은 표를 주는 것이다.

그런데 정작 이 영역은 표 모델 문헌에서 비어 있었다. 표 파운데이션 모델은 천체물리를 비롯한 여러 과학 분야에 이미 쓰이지만 거의 전부 보간에 쓰이고, 최근 벤치마크들은 외삽으로 무게를 옮겨 왔는데, 그중 BeyondArena는 결정론적 함수로 만든 데이터를 인위적이라며 아예 뺐다. 사전학습에서도 사정이 같아서, 단위가 붙은 물리 법칙이나 연속적인 물리 타깃으로 사전학습한 표 파운데이션 모델은 지금까지 하나도 없다.

시험대는 방정식 316개로 짰다. AI Feynman에서 온 120개, 같은 방정식을 낯선 형태로 다시 쓴 LSR-Transform 111개, 새 항을 조합해 만든 LSR-Synth 85개다. 공개된 표를 내려받지 않고 방정식에서 매번 새로 생성했기 때문에 표본 수와 잡음 크기와 표집 구간을 자유롭게 통제할 수 있었다. 학습점은 각 방정식의 표집 상자 안에서, 시험점은 그 상자 바깥의 껍질에서 뽑되 안쪽으로 들어온 점은 걸러 냈다. 외삽을 재겠다면서 실은 보간을 재는 일을 막기 위한 장치다.

잡음은 값에 비례하는 곱셈 잡음으로 얹었다. 실제 계측기의 오차가 절대량이 아니라 상대값으로 붙는다는 점을 본뜬 것이다. 여기에 잡음 세 수준과 표본 수 세 수준, 시드 셋을 곱해 모델 열 종을 돌렸고, GPU 약 1,300시간과 CPU 약 4,200시간이 들었다. 외삽 영역의 정의와 잡음 모형과 실패 처리 규칙은 결과를 들여다보기 전에 고정해 두었다고 저자들은 밝힌다.

이 논문은 9월 2일 arXiv에 올라온 5쪽짜리 프리프린트이고, NeurIPS 2026의 물리과학 표현 워크숍에 제출된 원고다. 저자 넷은 모두 몬트리올대와 Mila 소속으로, 시험대에 오른 모델들을 만든 회사와는 무관한 외부 평가자다.

비교 대상은 표 데이터에서 여전히 최고 수준인 여섯 가지다. RealMLP, TabM, 평범한 MLP, CatBoost, 가우시안 프로세스, 릿지 회귀. 여기에 표 파운데이션 모델 네 종인 TabPFN-3, TabICLv2, TabDPT, Real-TabPFN-2.5가 붙었다. 라이브러리 기본값으로 돌린 결과는 선행 벤치마크의 순서를 그대로 재현했다. 모든 구간에서 파운데이션 모델 쪽이 앞섰다.

선행 연구는 학습 기반 모델을 제대로 튜닝하면 순위가 뒤집힌다고 보고했고, 저자들은 그 역전을 직접 재현하려 했다. 재현되지 않았다. 학습 기반 모델에는 무작위 탐색 25개 설정과 사후 그리디 앙상블 선택을 붙여 주고 파운데이션 모델에는 튜닝할 하이퍼파라미터가 없는 조건에서도, TabPFN-3는 세 파이프라인 전부에서 모든 구간을 이겼다. 예외는 한 귀퉁이뿐이었다. 컨텍스트가 가장 클 때, 그것도 파운데이션 모델을 가장 싼 설정으로 묶어 뒀을 때만 가우시안 프로세스가 앞섰다.

학습 기반 모델에 유리한 두 조건, 즉 외삽과 최대 컨텍스트를 동시에 걸어도 격차는 좁아질 뿐 뒤집히지 않았다. 이 구간에서 과업 314개의 평균 순위는 TabPFN-3가 8.47, 가장 좋은 상대인 튜닝·앙상블 가우시안 프로세스가 9.85였다. 순위는 모델과 파이프라인 조합 26개를 한 자리에 놓고 매긴 것이라 1에서 26 사이의 값이고 작을수록 좋다. 정작 순위가 가장 크게 흔들린 곳은 튜닝이 아니라 외삽이었다. 표집 상자 밖에서는 필드 전체가 압축되면서 순위가 재편되는데, 각자 제자리에서 나빠졌다기보다 모두가 같은 실패 지점으로 모여든 모습에 가깝다.

튜닝을 붙여 준 학습 기반 모델들에게 무슨 일이 벌어졌는지는 부록에 적혀 있다. 사후 앙상블 선택은 RealMLP 하나를 빼면 거의 아무것도 바꾸지 못했고, 선택 라운드를 25회에서 200회까지 늘려도 결과가 소수점 넷째 자리까지 같았다. 예산이 모자라서가 아니라 데이터의 성질 때문이라는 게 저자들의 해석이다. 앙상블 선택은 설정마다 서로 다른 오차를 내는 데서 이득을 얻는데, 잡음 없는 결정론적 타깃에서는 다르게 튜닝한 같은 모델이 결국 같은 함수로 수렴해 비슷하게 틀린다. 거꾸로 잡음이 0인 구간에서는 릿지 회귀를 뺀 모든 모델이 튜닝으로 나아졌다. 라이브러리 기본값이 잡음 있는 실제 표에 맞춰져 있어서, 잡음이 사라지면 그 기본값이 가장 멀리 어긋나기 때문이다.

저자들은 자기 실험의 불균형 하나를 스스로 적어 둔다. 튜닝과 앙상블 파이프라인에서 학습 기반 모델은 설정을 고르느라 표본의 20%를 떼어 놓고 나머지로 학습한 반면, 파운데이션 모델은 고를 것이 없으니 표본 전부를 컨텍스트에 넣었다. 저자들은 이 차이를 없애는 대신 드러내는 쪽을 택했다. 파운데이션 모델의 컨텍스트를 잘라 맞추면 재고 있던 대상 자체가 달라지고, 검증용 표본을 따로 얹어 주면 표본 예산이 달라지기 때문이다. 표본이 50개인 구간에서 격차가 가장 커서 학습 기반 모델이 40행을 볼 때 파운데이션 모델은 50행을 보고, 튜닝의 이득이 실제보다 작게 보일 여지도 그 자리에 몰려 있다.

이런 승리를 보고할 때 먼저 배제해야 할 설명은 이 모델들이 시험 문제를 미리 봤을 가능성이다. 근거 없는 걱정도 아니다. Feynman 계열 데이터셋은 TabArena가 후보로 살펴본 1,053개 중 약 118개를 차지할 만큼 이 생태계 가까이에 있다. 최종 51개 스위트에서는 빠졌지만 거리가 가깝다는 사실은 남는다.

감사는 코퍼스를 공개한 두 모델에만 가능했다. TabDPT의 122개, Real-TabPFN-2.5의 43개다. 논문 본문은 앞의 수를 123개라고 적었지만 부록에 실린 실제 목록은 122개여서, 이 글은 목록을 따랐다. 열어 보니 어느 쪽에도 Feynman 방정식이 없었고, 해석적 함수로 생성한 회귀 타깃도 없었다. TabDPT 코퍼스에서 물리·천문 라벨이 붙은 여섯 개는 입자 충돌 판별이나 위성 영상 분류처럼 전부 분류 과업이고, '결정론적·시뮬레이션' 라벨이 붙은 아홉 개에도 연속 타깃은 하나도 없다. 코퍼스에 물리가 있긴 하지만 법칙의 형태는 아니고 검출기 이벤트를 판별하는 문제로만 있다.

Real-TabPFN-2.5의 목록은 더 단순하다. 43개가 전부 분류 과업이라 실세계 회귀 표가 아예 없고, 슬론 디지털 스카이 서베이 목록 두 개도 별과 은하와 퀘이사를 가르는 분류로 쓰였다.

같은 방정식에서 다른 이름으로 다시 표집한 표는 이름 필터도 해시 필터도 통과하니, 이름 대조만으로는 부족하다. 그래서 저자들은 오염의 유무를 주장하는 대신 노출 정도를 쟀다. 각 모델을 자기 코퍼스 안의 데이터셋과 바깥의 비교 가능한 데이터셋으로 나눠 성능 차이를 보고, 그 차이를 어느 쪽도 보지 않은 모델의 차이와 견줬다. 두 후보 모두 비노출 밴드 안에 들어왔다. 남은 미세한 움직임도 방향이 반대였다. 노출 효과라면 컨텍스트가 얇을 때 가장 크게 나타나야 하는데 오히려 컨텍스트가 커질수록 벌어졌다.

사전학습을 아예 하지 않은 모델들이 노출된 두 모델보다 오히려 큰 '본 것 대 못 본 것' 격차를 보였다. 이 통계는 무엇에 노출됐는지보다 어느 데이터셋이 어느 쪽 풀에 담겼는지에 더 좌우된다. 감사의 정밀도도 고르지 않다. TabDPT는 코퍼스 안 회귀 데이터셋 18개를 바깥의 짝지은 37개와 견줄 수 있었지만, Real-TabPFN-2.5는 견줄 표가 사실상 한 개뿐이라 그쪽 패널이 훨씬 성기다.

결정론적 법칙에서 잡음 없이 뽑은 데이터라면 정답 사후예측분포는 폭이 없는 델타함수다. 관측 잡음이 0이고 컨텍스트가 충분하면 함수가 결정되기 때문이다. 그런데 예측 분포를 내는 모델들은 하나같이 0이 아닌 구간 폭을 보고했고, 표본을 늘려도 그 폭은 더 줄지 않았다. 같은 조건에서 실제 오차는 계속 줄어든다. 모델이 스스로 밝히는 불확실성과 실제로 틀리는 정도가 이 극한에서 서로 갈라선다는 뜻이다.

이것이 추정기 자체의 결함은 아니다. 잡음을 0.1로 준 조건에서는 같은 모델들이 기대되는 보정 폭에 정확히 앉는다. 실패는 잡음이 완전히 없는 극한에서만 나타난다.

부록의 감쇠 조화진동자 실험에서는 잡음 없이 200개 표본을 t가 0에서 2인 구간에서 주고 t가 6일 때까지 물었다. 데이터가 있는 구간 안에서 가우시안 프로세스의 구간 폭은 정확히 0이었다. 분포를 내는 세 모델은 그렇지 않았다. TabICLv2가 0.010, 두 TabPFN 계열이 0.019에서 0.020 사이의 폭을 계속 보고했다. 정규화한 값이라 크기 자체는 작지만, 있어서는 안 될 자리에 남아 있다는 점이 중요하다.

TabDPT를 이 목록에 함께 넣으면 틀린 문장이 된다. 이 모델은 점추정만 내놓기 때문에 애초에 폭이라는 것이 없다. 불확실성을 0으로 보고하는 것이 아니라 아무것도 보고하지 않는다. 잡음 바닥 이야기는 분포를 내는 세 모델에 한정된다.

표집 구간 바깥에서는 넷 다 무너져 반 주기가 지나기 전에 진동을 잃고 상수로 이완한다. 다만 전부를 잃은 것은 아니어서, TabPFN-3와 TabICLv2의 예측은 참 신호가 그러하듯 0을 향해 잦아든다. 마지막으로 본 값을 그대로 붙들고 있는 CatBoost와는 다른 모습이다.

TabICLv2의 예측 밀도에는 진동의 크기를 닮은 띠무늬까지 남았지만 저자들은 이것을 주기 구조의 회복이라고 부르지 않는다. 참 곡선을 한 주기에 걸쳐 201번 밀어 가며 맞춰 보니 어긋나지 않은 원래 곡선이 TabICLv2에서 98위, TabPFN-3에서 157위에 그쳤다. 위상을 잡은 것이 아니라 여러 값에 걸쳐 헤지한 흔적이다. 2024년에 TabPFN이 주기 구조를 알아본다는 증거가 없다고 보고한 선행 관찰과도 같은 방향이다.

원인은 사전분포의 생김새에 있다. 사전학습에 쓰인 구조인과모델은 모든 노드에 독립 잡음을 얹어 만든다. 그런 사전분포는 잡음이 없는 영역에 확률 질량을 아예 배정하지 않는다. 배정되지 않은 곳으로는 컨텍스트를 아무리 늘려도 사후분포가 옮겨 갈 수 없다. 데이터가 부족해서 생긴 오차가 아니라, 애초에 표현할 수 없는 상태를 표현하라고 요구한 결과다.

두 번째 공백은 단위다. 물리량에는 차원이 붙어 있고, 버킹엄 파이 정리에 따르면 변수 다섯 개로 쓰인 법칙이 실제로는 무차원군 두 개에만 의존할 수 있다. 물리 문제의 유효 차원은 열 개수보다 훨씬 낮은 경우가 많다는 말이다. 열의 순서를 구분하지 않고 단위도 볼 수 없는 모델에게는 이 구조로 들어갈 입구가 없다.

저자들은 Feynman 단위표에서 변수들의 SI 차원 지수 행렬을 세우고, 변수 개수에서 그 행렬의 계수를 뺀 값으로 무차원군의 개수를 구했다. 그런 다음 물었다. 각 모델의 오차는 원래의 열 개수를 따라가는가, 아니면 무차원군의 개수를 따라가는가. 모든 모델에서 오차는 일단 열 개수를 따라갔고, 대부분은 무차원 차원성이 설명을 더 보태지 않았다.

예외가 갈린 방향이 이 논문에서 가장 반직관적인 결과다. 가장 강한 파운데이션 모델인 TabPFN-3는 무차원군이 많은 과업, 곧 차원으로 줄일 여지가 큰 과업에서 유의하게 더 나빠졌다. 같은 과업에서 RealMLP와 CatBoost는 유의하게 더 좋아졌다. 학습 기반 모델이 이득으로 바꿔 쓰는 물리적 저차원 구조가 가장 강한 파운데이션 모델에게는 벌점으로 돌아온 셈이다.

이 결과에는 범위와 방법 두 가지를 붙여 둬야 한다. 나빠진 것은 TabPFN-3이지 표 파운데이션 모델 전체가 아니다. 그리고 저자들은 모델에 단위 정보를 직접 넣어 성능이 좋아지는지 시험하지 않았고, 무차원군의 개수에 따라 성능이 어떻게 갈리는지를 관찰했을 뿐이다. 단위를 알려 주면 해결된다는 문장은 이 논문에 없다.

논문의 마지막 문장은 두 문단을 한 줄로 묶는다. 이들은 뛰어난 보간기이며, 물리 모델이 되려면 물리를 담은 사전분포가 필요하다는 것이다. 한 번도 물리 법칙으로 사전학습된 적이 없는 모델이 물리 데이터를 이만큼 잘 채운다는 사실과, 그럼에도 잡음 없는 메커니즘과 차원 구조라는 두 성질을 담지 못한다는 사실이 함께 성립한다.

여기서부터는 논문이 시험한 내용이 아니라 이 결과를 조직의 데이터에 겹쳐 본 이 글의 해석이다.

실험실과 공장에서 나오는 표를 열어 보면 대개 값만 남아 있다. 열 이름은 있는데 단위는 괄호 안에 적혀 있거나 아예 없고, 어느 열이 계측기에서 직접 읽은 값이고 어느 열이 계산으로 유도된 값인지는 표 안에 표시되지 않는다. 측정의 정밀도와 잡음의 유무는 담당자의 기억이나 별도 문서에 남는다. 모델은 그중 어느 것도 보지 못한다. 표에 적힌 숫자만 본다.

이 논문이 보여 준 것은 그 상태에서도 보간은 잘 된다는 사실이다. 그래서 도입 초기의 성적표는 대체로 좋게 나온다. 문제는 그다음이다. 관측 범위 바깥으로 나가거나 어떤 값이 확정적인지 판단해야 하는 순간에 모델이 무너지는데, 그 원인이 데이터 부족이 아니라 사전분포에 없는 것을 요구한 데 있다면 데이터를 더 모으는 대응은 듣지 않는다.

표 파운데이션 모델을 도입하려는 팀이라면 다음 세 가지를 먼저 확인해 볼 만하다.

• 각 열의 단위가 스키마에 적혀 있는가. 열 이름 옆 괄호나 담당자의 기억이 아니라 기계가 읽을 수 있는 자리에 있어야 다음 단계로 넘길 수 있다.
• 어느 열이 잡음 있는 측정이고 어느 열이 잡음 없는 계산값인지 구분되어 있는가. 이 논문의 두 결과 모두 그 구분이 사전분포에 없어서 생긴 일이다.
• 모델을 평가할 때 학습 데이터의 범위 안만 보고 있는가, 밖도 보고 있는가. 안에서만 재고 있다면 이 논문이 드러낸 실패는 성적표에 나타나지 않는다.

같은 기술 계열의 사업 쪽 움직임은 SAP의 Prior Labs 인수를 다룬 리포트에 정리해 두었고, 값에 붙은 것들을 갖추는 문제는 AI-Ready Data의 조건에서 이어 볼 수 있다.

여기까지 읽어 주신 데 감사드린다. 원문은 arXiv:2609.02766에서 전문을 볼 수 있고, 이 글의 수치는 본문과 부록 A부터 E까지에서 직접 확인했다. 표에 단위를 남기는 일을 이미 하고 있는 팀이 있다면 어떤 방식으로 적어 두는지 나눠 주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 9월 6일

• 1.Tenachi, W., Hezaveh, Y., Perreault Levasseur, L., & Bacon, P.-L. (2026). "Do Tabular Foundation Models Know Physics? Contamination, Units, and the Deterministic Limit." arXiv:2609.02766 (Representations for the Physical Sciences Workshop @ NeurIPS 2026에 제출).