Executive Summary
이미지를 잘못 읽어서 틀린 모델과 제대로 읽고 잘못 따져서 틀린 모델은 똑같은 오답을 낸다. 고칠 자리는 서로 다르다. 앞의 것은 입력과 렌더 규약에서 고치고 뒤의 것은 모델에서 고친다. 그런데 지금까지 이 둘을 가르던 방법은 하나같이 판정 기준 자리에 또 다른 모델을 세웠고, 그러면 귀속이 그 모델의 오차를 그대로 물려받는다. 9월 1일 arXiv에 올라온 논문은 판정 기준에서 모델을 아예 빼는 쪽을 택했다.
결정구조를 다섯 대의 고정 카메라로 그린 뒤 그 카메라를 역으로 풀면 이미지가 지지하는 정답이 그대로 되돌아온다. 이 절차가 틀릴 수 있는 경로는 서로 다른 원자의 투영이 우연히 겹치는 경우 하나뿐이고, 저자들은 그 경우의 집합이 렌더한 결정구조 2,160개 전체에서 비어 있음을 확인했다. 상한이 1.0000이니 모델이 거기 못 미친 만큼은 전부 모델 몫이 된다. 그 잣대를 들이대자 정확한 좌표와 셀 정보를 글로 넣어 줘도 시각언어 모델 14종 가운데 13종은 격차의 절반을 못 메웠고, 언어를 전혀 쓰지 않는 시각 모델은 같은 이미지를 0.8952로 읽어 14종을 모두 앞섰다.
5절까지는 논문이 실제로 잰 것과 유보한 것을 따라간다. 6절에서 평가 데이터셋 설계로 옮기는 대목은 논문에 없는 이 글의 해석이다.
주요 수치
출처: Polat 외, Separating perception from reasoning in vision–language models arXiv:2609.00663v1(2026-09-01) 결과 및 방법
1.0000
모델 없이 인증한 정답 상한
평가 210개와 규모 확대 표본 1,950개 구조 전체에서 오라클이 정답을 되찾았고 실패 경로인 가짜 교점은 한 건도 없었다
14종 중 13종
기하를 글로 줘도 격차 절반을 못 메운 모델
지각 몫 비율의 중앙값은 0.2901이고 예외는 Grok 4.5 하나다
0.8952 대 0.7333
시각 전용 모델과 최고 시각언어 모델의 픽셀 정확도
ResNet-50은 224픽셀로 훈련하고도 768픽셀 렌더를 본 14종을 모두 앞섰다
중앙값 0
추출 단계에 세운 강한 모델의 좌표 재현율
206개 중 105개는 허용오차 안에 든 원자가 하나도 없는데 형식이 온전한 원자는 중앙값 48개를 냈다
같은 오답, 갈리지 않는 원인
시각언어 모델(vision–language model)은 이미 그림과 스펙트럼과 렌더를 읽는 데까지 들어와 있고, 소재 설계 파이프라인의 부품으로도 쓰인다. 이 분야의 대표 멀티모달 벤치마크는 모델이 화학·소재 이미지의 기본 지각은 잘 처리하면서 공간 추론과 여러 단계 추론에서 무너진다고 보고했다. 결정구조는 그중에서도 날이 선 사례다. 결정구조는 대부분의 독자에게 그림으로 도착하고, 그 그림을 읽을 줄 아는 모델은 표로 정리된 적 없는 한 세기치 결정학을 물려받게 된다.
문제는 모델이 틀렸을 때 어디서 틀렸는지 가릴 방법이다. 이미지를 모델이 쓴 설명으로 갈아 끼우고 다시 채점하는 방법, 시각 정보를 정답 텍스트로 직렬화해 넣는 방법, 최선의 경우만 모으는 앙상블, 라벨에 맞춘 셀렉터가 지금까지 쓰이던 갈래다. 논문이 지적하는 공통점은 하나다. 모델의 부족분을 재는 기준 자체에 두 번째 모델이 들어 있다. 그러면 귀속은 그 모델의 오차를 물려받고, 겉보기 여유분은 평가 장치를 바꿀 때마다 함께 움직인다.
기준이 없으면 남은 여유분을 세는 방식도 관행에 기댄다. 벤치마크에서 아직 못 푼 몫은 대개 1에서 최고 점수를 뺀 값으로 읽히는데, 이는 상한이 1이라고 가정하는 셈이다. 상한을 가정하지 않고 재려는 시도도 그 안에 모델을 넣는다. 여러 모델의 최선만 모은 앙상블이거나 라벨에 맞춰 고른 셀렉터이고, 그렇게 만든 평가 장치를 바꾸면 풀 수 없다고 집계되는 몫이 결론이 뒤집힐 만큼 움직인다. 같은 저자들이 앞서 낸 결정구조 스트레스 테스트도 소스 결정학 파일을 이미지와 함께 줘 봤지만 격차는 좁아질 뿐 닫히지 않았고, 그 격차를 잰 잣대는 측정된 한계가 아니라 관측된 최고 점수였다.
자연 사진에는 이 문제를 우회할 길이 아예 없다. 사진 한 장에서 장면의 기하를 되찾는 일은 불량조건 문제이고, 같은 사진으로 투영되는 3차원 장면이 무한히 많기 때문에 실제 리더는 빠진 제약 대신 학습된 사전분포를 쓴다. 렌더로 그린 과학 도해는 사정이 다르다. 결정구조 렌더는 좌표를 정확히 아는 구조를 실험자가 고른 카메라로 직교투영한 결과다. 그 카메라를 되돌리고 시점 간 대응을 다시 풀면 어느 단계에도 모델을 넣지 않고 이미지가 지지하는 정답에 닿는다. 논문은 그렇게 얻은 값을 정답 상한(render ceiling)이라 부른다.
카메라를 거꾸로 풀면 정답이 나온다
구조는 Materials Project에서 관용 단위격자 형식으로 뽑았다. 조성으로 정답을 맞히는 지름길을 막으려고 13개 원소를 평가 전용으로 떼어 두는 조성 배제 분할을 걸었고, 공개된 구조 1,820개는 훈련 1,610개와 평가 210개로 나뉜다. 정답 라벨은 spglib이 고정 허용오차에서 돌려주는 결정계 일곱 가지다. 허용오차를 훑어 공간군이 흔들리는 구조는 격리했고, 훈련·평가와 겹치지 않는 층화 표본에서 이 라벨은 원 데이터베이스의 공간군과 220건 전부 일치했다.
렌더 규약은 단순하다. 관용 단위격자를 2×2×2로 쌓고 다섯 대의 직교 카메라로 768픽셀에 그린다. 세 대는 주축, 두 대는 사각이다. 그림은 음영도 결합선도 없이 깊이 순으로 정렬한 평면 원만 찍고 격자 모서리는 점선으로 남긴다. 카메라마다 투영 행렬이 실험자에게 이미 알려진 값이라는 점이 이 설계의 전부다.
오라클은 그 값을 되돌린다. 정답 원자 위치를 카메라마다 투영해 두고, 시점 사이의 대응을 일부러 버린 다음, 같은 원소끼리 광선을 교차시켜 위치를 다시 세우고, 남은 모든 시점에서 그 점이 실제로 보이는지 확인한다. 살아남은 점들을 합쳐 라벨을 만든 그 알고리즘에 다시 넣으면 답이 나온다. 전 과정이 결정론적이고 어디에도 학습된 부품이 없다.
정리가 말하는 것은 이 절차의 실패 경로가 하나뿐이라는 사실이다. 서로 다른 두 원자의 투영이 우연히 겹쳐 만들어 낸 가짜 교점이 모든 시점의 검사를 통과해 버리는 경우다. 그리고 가짜 교점은 구조와 카메라만으로 결정되므로 표본마다 전부 세어 볼 수 있다. 정리의 가정인 같은 원소 원자 사이의 최소 간격은 평가 210개에서 1.0951 Å, 가짜 교점 전수 조사를 돌린 규모 확대 표본 1,950개에서 0.7501 Å이었고, 요구되는 0.02 Å을 크게 웃돈다. 인증 설정에서 오라클은 두 표본 모두 정답을 냈고, 재구성 오차는 3.9×10⁻¹⁵ Å이었으며, 빠뜨린 원자도 받아들인 가짜 교점도 없었다. 상한 1.0000은 그렇게 나온 값이다.
이 잣대가 이미지를 재는 것인지 완벽하다고 가정하는 것인지는 카메라를 빼 보면 갈린다. 카메라 부분집합에도 같은 전수 조사를 돌리자 가짜 교점이 실제로 나타났고 상한도 1 밑으로 내려갔다. 인증 허용오차에서 평균 상한은 카메라 두 대일 때 0.9214, 세 대일 때 0.9967이다. 가짜 교점 발생률은 네 대에서 정확히 0이 되고, 다섯 번째 카메라는 이미 빈 집합을 더 비우는 대신 재구성 정확도를 보탠다.
상한이 무너지는 자리는 이미지가 아니라 추출 단계다. 점을 합칠 때 쓰는 허용오차를 늘리며 같은 오라클을 다시 읽으면 1.0000에서 시작해 다섯 배에서 0.9810, 공개 파이프라인이 쓰던 열다섯 배에서 0.9524로 내려간다. 여기서 잃는 구조들도 원자 수는 모두 맞히고 가장 가까운 동종 원자 쌍이 허용오차의 열한 배 넘게 떨어져 있어, 서로 다른 원자를 뭉갠 결과가 아니라 대칭 알고리즘 쪽 라벨 허용오차 문제다. 이미지에서 정답을 식별할 수 있느냐는 물음과 실제 파이프라인이 그것을 뽑아내느냐는 물음이 여기서 갈린다.
실제 추출기를 하나 세워 끝까지 돌려 본 기록이 그 갈림을 눈에 보이게 만든다. 색 임계로 연결 성분을 세는 블롭 검출기를 오라클 앞에 붙였고, 삼각측량에 실패하는 구조가 5퍼센트를 넘으면 실패율만 적고 점수는 매기지 않는다는 규칙을 미리 걸어 두었다. 검출기는 그 문턱을 넘었다. 원자를 하나도 되찾지 못한 구조가 평가 표본에서 19.0퍼센트, 따로 뽑은 확장 표본에서 22.4퍼센트였다. 그래서 이 실행은 점수로 매겨지지 않고 진단값 0.0762와 0.0857로만 남았다. 뒤에 나올 어떤 모델의 점수보다도 낮은 값이다.
실수가 한 방향으로만 쌓이지도 않는다. 한 시점에서 원반 하나가 빠지면 다른 원자의 광선이 시점 간 검사를 통과해 없던 자리를 만들어 내서, 210개 가운데 44개는 실제보다 많은 원자를 되찾았다. 검출 성능을 올려 가며 모의로 읽어 보면, 표본에 따라 시점당 재현율이 0.98에서 0.999 사이는 되어야 비로소 최고 시각언어 모델의 0.7333에 닿는다. 상한을 재 두면 이런 지점도 같이 보인다. 어디서부터는 시험 대상 모델이 아니라 우리 쪽 읽기가 점수를 묶는 잣대가 되는지다.
같은 기하가 벤치마크를 만드는 쪽에 규칙 하나를 준다. 정확한 추출을 가정하면 고정 배치와 사각 변형 배치와 타일 배치가 모두 210개를 다 맞히므로, 이 계열 안에서 카메라 선택은 과제의 일부를 감추지 않는다. 갈리는 것은 조건수다. 고정 카메라의 조건수는 2.7321, 사각으로 틀어 놓은 배치는 8.4258이고, 중심점에 잡음을 주입하자 고정 배치가 2.1배의 잡음을 견뎠다. 뷰를 더 붙이는 것이 아니라 카메라 방향을 서로 떼어 놓는 것이 강건성을 산다. 다만 저자들이 미리 적어 둔 예측 세 가지 가운데 타일 배치를 포함한 세 갈래 순서와 절대 잡음 예산은 빗나갔고, 관측된 내성 비율은 예측보다 작았다.
기하를 글로 떠먹여도 남는 몫
상한이 정해지면 모델의 부족분을 뺄셈으로 가를 수 있다. 사다리는 세 칸이다. 픽셀 렌더만 보고 답하는 칸, 정확한 분수 좌표와 원소와 셀 파라미터를 글로 받아 답하는 칸, 그리고 오라클의 상한이다. 두 번째 칸에서 첫 번째 칸을 빼면 지각을 대신 해 줬을 때 회수되는 몫이고, 상한에서 두 번째 칸을 빼면 지각을 대신 해 줘도 남는 몫이다. 상한에 모델이 없으므로 이 뺄셈은 고정된 값에 대한 뺄셈이지 다른 모델의 출력에 대한 뺄셈이 아니다.
기하를 글로 넣어 주자 14종이 전부 올랐다. 그런데 아무도 상한에 닿지 못했고 최고가 0.8524였다. 전체 부족분 가운데 지각이 차지하는 비율은 중앙값 0.2901이었고, 14종 중 13종에서 지각 뒤 남은 몫이 지각 몫보다 컸다. 예외는 Grok 4.5 하나다. 공개 허용오차의 상한으로 다시 읽어도 12종이 같은 결론이라, 이 판정은 허용오차 곡선의 어느 점을 잡든 유지된다.
사다리 양 끝에 선 두 모델을 나란히 놓아 보자. 픽셀에서 가장 잘 읽은 Gemini 3.6 Flash는 0.7333에서 0.8524로 올라 지각 몫 11.90점을 회수했지만 14.76점을 남겼고, 비율로는 0.4464다. 가장 낮은 GPT-4.1 mini는 0.3667에서 0.4143으로 4.76점만 회수하고 58.57점을 남겼으며, 비율로는 0.0752다. 두 값은 5.9배 차이가 난다. 강한 모델일수록 지각 몫이 클 것이라는 자연스러운 강화는 지지되지 않았다. 비율과 픽셀 정확도는 순위상관으로 무관했고, 비율이 아니라 상승폭 자체를 보면 방향이 오히려 반대여서, 기하를 줬을 때의 상승폭과 픽셀 정확도의 상관이 −0.6439였다. 픽셀을 가장 잘 읽는 모델일수록 정확한 기하를 줘도 얻는 게 적다.
기하를 글로 준 조건의 상승이 텍스트 형식 덕이 아니라는 것은 별도 통제로 확인됐다. 이미지를 빼고 화학식만 같은 프롬프트에 넣자 채점된 모델이 전부 우연 수준으로 주저앉았다. 평균이 0.1487이고 일곱 갈래 우연 수준이 0.1429다. 13종 중 10종에서 짝지은 차이가 유의했고, 유의하지 않은 셋은 이미지를 줘도 우연 수준이던 가장 약한 모델들이다. 렌더에서 정보를 뺐다는 설명도 배제된다. 정보가 되는 가림을 오라클 입력에서 제거해도 대칭 판정은 그대로였고, 따로 뽑은 확장 표본 210개의 네 시점 조건에서 원자 수 일치만 204개에서 194개로 움직여 개입 자체는 재구성기에 닿았다.
남은 몫이 숙고 부족 탓인지도 한 모델에서 통제해 봤다. Claude Opus 5를 추론 예산 최소와 제공자 기본값 두 설정으로 돌리자 정확도가 130개로 똑같았다. 기본값은 출력 토큰을 5.4배 쓰고 시간도 3.4배 걸렸는데 결과가 같다. 두 설정은 169개에서 답이 일치했고 엇갈린 것은 13대 13이었다. 적어도 이 모델에서 상한까지의 거리는 더 오래 생각하면 좁혀지는 종류가 아니다. 나머지 열셋에서도 그런지는 시험되지 않았다. 저자들은 여기서 사후학습 쪽으로 한 걸음 더 간다. 지각과 추론을 떼어 놓고 학습시키는 방법이 손대는 단계는 열네 종 대부분을 붙잡고 있는 그 단계와 다르다.
남은 몫을 곧바로 추론 실패라고 읽으면 논문이 그은 선을 넘는다. 저자들은 이 값이 대칭 추론의 측정치가 아니라 상한이라고 못 박고, 긴 목록 처리 같은 것이 섞여 있을 수 있다고 적으며 원자 수와의 관계를 따로 검사했다. 논의 절의 정리도 방향이 같다. 지각이 멀티모달 소재 과제의 병목이라는 읽기는 과제의 성질이 아니라 특정 모델들에 관한 진술이고, 정확한 기하가 가장 적게 보태는 상위권에서는 그 관계가 뒤집힌다.
언어를 쓰지 않는 모델이 픽셀을 더 잘 읽었다
부족분이 크다는 사실만으로는 이미지가 애초에 읽을 수 없는 것이었다는 설명을 배제하지 못한다. 그래서 저자들은 언어 부품이 하나도 없는 일반 비전 모델을 같은 렌더에 세웠다. ResNet-50과 ViT-small을 ImageNet 가중치에서 출발해 공개된 훈련용 구조 1,610개의 렌더로만 파인튜닝했고, 다른 정보는 주지 않았다. 증강은 일절 걸지 않았다. 회전이나 반전이나 종횡비 왜곡은 지금 맞히려는 라벨 자체를 뒤집을 수 있기 때문이다. 다섯 시점의 로짓을 평균해 답을 낸다.
ResNet-50이 210개 중 188개를 맞혀 0.8952를 냈다. 상한과의 거리는 0.1048이고, 픽셀에서 가장 잘 읽은 시각언어 모델의 0.7333보다 높다. ViT-small도 0.8333으로 14종을 모두 앞섰다. 조건은 오히려 불리했다. 두 네트워크는 768픽셀 렌더를 224픽셀로 줄여 훈련하고 평가했으니, 시각언어 모델이 본 것보다 낮은 해상도에서 읽은 셈이다. 소비자용 그래픽카드 한 장에서 학습에 걸린 시간은 각각 153초와 152초였다.
그 표에 한 줄이 더 있어야 한다. 이미지를 아예 보지 않는 읽기다. 관용 단위격자에서 뽑은 수치 열아홉 개를 랜덤 포레스트에 넣으면 같은 210개에서 역시 188개를 맞힌다. 격자 상수 여섯 개와 부피, 정렬한 모서리 길이의 비 셋, 각도 편차 넷과 각도 범위, 각도와 모서리의 분산, 원자 자리 개수와 밀도가 그 열아홉이다. 픽셀 모델과 소수점 넷째 자리까지 같은 0.8952다. 그러니 이 절이 세운 것은 픽셀이 읽힌다는 사실이고, 픽셀이 이긴다는 사실은 아니다.
결론은 좁고 단단하다. 결정학 특화 편향도 언어도 없는 모델이 시각언어 모델들이 읽지 않고 남겨 둔 정보의 대부분을 그냥 읽어 낸다. 그러니 앞 절에서 잰 부족분은 이미지에서 원리적으로 못 읽을 정보 때문에 생긴 것이 아니다. 다만 이 시각 모델도 만능은 아니다. 따로 뽑은 확장 표본 210개에서는 같은 체크포인트가 0.7524로 0.1428 떨어졌다. 하락분의 일부는 표본 몫이다. 그 표본에서는 형태 없는 기준선도 0.5286에서 0.2476으로 함께 내려가, ResNet-50이 기준선을 앞선 폭은 오히려 0.5048로 넓어진다. 원본 표본에서 낸 오류 22건 가운데 7건은 육방정과 삼방정을 맞바꾼 것으로 단일 최대 혼동쌍이었고, 이 쌍은 셀 지표만으로는 갈리지 않는 축퇴라 특정 모델의 약점이라기보다 과제의 결에 가깝다.
육방정과 삼방정의 축퇴는 두 읽기의 대조에도 걸린다. 셀 수치만으로 결정계가 정해지는지를 기준으로 평가 표본을 가르면 140개와 70개로 나뉘고, 모호한 70개 가운데 60개가 육방정 아니면 삼방정이다. 그 하나를 빼고 나면 픽셀과 수치의 대조가 진짜로 정보를 담는 구조는 열 개만 남는다. 반대쪽 한계도 있다. 라벨을 공간군까지 미세하게 하면 표 분류기는 0.8952에서 0.6810으로 내려간다. 점군과 공간군은 격자 상수가 담지 않는 원자 위치에 걸려 있기 때문이다. 오라클은 네 라벨 모두에서 평평하다. 재구성은 맞거나 틀리거나 둘 중 하나이고 네 라벨이 모두 거기서 따라 나온다.
모델 쪽 점수를 어디에 견주느냐도 이 잣대가 있어야 정해진다. 원자 수와 밀도와 셀 부피만 보는 형태 없는 기준선이 0.5286인데, 채점된 시각언어 모델 실행 17건 가운데 13건이 그 밑에 있고 이를 넘긴 넷은 모두 최신 세대다. 저자들은 이 0.5286이 공개 표본이 뽑힌 방식의 이상치라는 점도 함께 적어 둔다. 같은 규칙으로 만든 1,933개에서는 같은 기준선이 0.2054였고, 세 가지 방식으로 446번 다시 표집해도 0.52를 넘긴 적이 없었다.
지어낸 좌표가 추론 실패로 기록된다
같은 잣대를 파이프라인 중간에 대 보면 리더보드가 못 보는 실패가 하나 드러난다. 저자들은 강한 모델을 추출 단계에 세워 대칭 질문은 숨긴 채 원소와 위치만 뽑게 했고, 그 텍스트를 약한 모델에 넘겨 답하게 했다. 최종 정확도는 다수 계층의 기준 비율과 정확히 같았다. 끝점만 채점하는 파이프라인이라면 여기서 아무것도 측정하지 못한 채 숫자 하나를 얻는다.
정보가 있는 쪽은 중간 산출물이다. 뽑혀 나온 좌표를 정답과 대조하자 재현율의 중앙값이 0.0000이었다. 206개 구조 중 105개는 허용오차 안에 든 원자가 단 하나도 없었다. 분모가 210이 아닌 것은 네 구조가 파싱되는 원자 목록을 아예 내지 못해 게이트에서 빠졌기 때문이고, 그 넷은 전체 표본 정확도에서 무응답으로 센다. 그러면서도 형식이 온전한 원자를 구조당 중앙값 48개씩 내놓았다. 2절에서 오라클 앞에 세워 봤던 그 블롭 검출기는 같은 과제에서 0.400을 기록한다. 형식은 완벽하고 내용은 비어 있는 좌표 목록이 나왔다.
논의 절이 이 대목에 가장 넓은 파급을 매긴다. 소재 설계의 에이전트 워크플로는 정확히 이런 중간 산출물로 조립된다. 그림에서 읽어 낸 구조가 물성 예측기나 합성 계획기로 넘어가고, 검사를 한다 해도 학습된 검증기가 하는데 그 검증기는 지어낸 중간 산출물과 틀린 중간 산출물을 가르지 못한다. 순방향 사상을 아는 단계라면 모델이 들어 있지 않은 기준으로 중간 산출물을 직접 채점할 수 있고, 그것이 지금 이 파이프라인들에 없는 감사 원시연산이라고 논문은 적는다.
우리 평가 데이터에는 상한이 적혀 있는가
6절에서 평가 데이터셋 쪽으로 옮기는 부분은 논문이 시험한 내용이 아니라 그 결과를 데이터 품질의 언어로 겹쳐 본 이 글의 해석이다.
이 도구가 어디까지 가는지는 논문이 세 가지 조건으로 묶어 둔다. 순방향 렌더가 알려져 있어야 하고, 그 렌더를 뒤집을 수 있어야 하며, 보인 것은 한 도메인의 한 과제뿐이다. 오라클은 정확한 중심점에서 답하므로 기하가 무엇을 결정하는지를 말할 뿐 어떤 리더가 그것을 실제로 뽑아낼 수 있다고 말하지 않는다. 인증도 표본마다 하나의 허용오차에서 이뤄지고, 따로 뽑은 확장 표본에서는 인증 설정에서도 구조 하나를 잃는다. 가짜 교점 집합은 허용오차에 대해 단조롭지 않아서 비어 있다는 주장은 언제나 그 값을 잰 허용오차에서만 성립하고, 셀이 커질수록 이 집합이 얼마나 빨리 늘어나는지는 증명되지 않았다.
분해 쪽에도 남는 것이 있다. 모델 실행은 규모 확대 표본에서 다시 돌리지 않았고, 조건수는 카메라 배치의 순서를 매길 뿐 잡음 예산을 정해 주지는 않는다. 로스터 역시 지금 세대가 나오기 전에 동결돼서, 리더보드는 순위라기보다 한 시점의 스냅숏이고 더 강한 모델을 세우면 격차는 좁아질 수 있다. 저자들이 전이 가능하다고 꼽는 목록은 렌더한 분자 배좌, 그리고 계산된 수치로 그린 밴드 구조와 상태밀도와 상평형도다. 카메라를 모르는 자연 사진은 그 목록에 없다.
그 범위 안에서 남는 발상은 데이터를 만드는 쪽에 곧바로 닿는다. 우리는 평가 데이터셋을 만들 때 정답만 적고 정답의 상한은 적지 않는다. 그래서 점수가 낮게 나오면 회의에서 말이 갈린다. 모델이 부족한 것인지, 이미지가 애초에 그 정보를 담고 있지 않은 것인지, 라벨이 흔들린 것인지 가릴 근거가 데이터 안에 없기 때문이다. 이 논문이 한 일은 그 근거를 데이터셋 안에 미리 계산해 넣은 것이다. 상한이 1.0000이라 부족분이 전부 모델 몫이 됐고, 카메라를 빼자 상한이 실제로 내려가 이 잣대가 이미지를 재고 있다는 것도 같이 보였다. 그림이 던지는 질문과 라벨이 답하는 질문이 같은지, 어느 시점에서 우리 파이프라인의 읽기가 모델보다 먼저 걸리는지를 발행 전에 알 수 있다는 뜻이다.
렌더나 합성 데이터로 평가 세트를 만드는 팀이라면 지금 확인해 볼 만한 것이 네 가지다.
- 생성 규약을 되돌려 정답을 다시 구할 수 있는가. 되돌릴 수 있다면 그 값이 곧 이 데이터가 지지하는 정답의 상한이고, 모델 점수는 그 값에 견줘 읽어야 한다.
- 상한이 1보다 낮아지는 조건을 찾아 두었는가. 카메라를 두 대로 줄이면 14.5퍼센트에서 가짜 교점이 생겼듯, 어떤 설정에서 데이터가 답을 감추는지는 세어 볼 수 있는 성질이다.
- 파이프라인의 중간 산출물을 정답과 대조하고 있는가. 끝점만 채점하면 형식이 온전한 채로 지어낸 중간 산출물이 추론 실패로 기록된다.
- 프롬프트와 문서가 그림을 정확히 묘사하고 있는가. 이 논문조차 렌더 모듈의 설명과 모든 모델에게 준 질문이 그림을 공-막대 모형이라 적어 두었는데, 실제로 나가는 그림에는 결합선이 없다. 저자들이 스스로 공개해 둔 불일치이고, 읽는 쪽을 이미지에 없는 결합 기하로 끌고 갈 수 있는 종류다.
벤치마크 점수가 무엇을 재고 있는지 되짚는 문제는 결합 여부는 98퍼센트 맞히면서 결합 부위는 못 짚던 신약 예측 사례에서도 같은 모양으로 나왔다. 데이터를 갖추는 문제 전체는 AI-Ready Data의 조건에서 이어 볼 수 있다.
Editor's Note
페블러스가 데이터 품질을 진단할 때 자주 만나는 물음이 이 점수가 무엇에 붙은 점수냐는 것이다. 이 논문은 정답 옆에 정답의 상한을 같이 계산해 두면 그 물음에 데이터로 답할 수 있다는 사례를 좁은 조건에서 정밀하게 보여 준다. 조건이 좁다는 점도 그대로 남는다. 순방향 규약을 되돌릴 수 있는 데이터에만 통하고, 그 밖에서는 여전히 다른 방법이 필요하다. 우리도 이 글에서 답을 내놓지 않는다. 평가 세트를 설계할 때 정답 옆에 무엇을 더 계산해 둘지 정하는 자리에서 참고할 만한 자료다.
여기까지 읽어 주신 데 감사드린다. 원문은 arXiv:2609.00663에서 전문을 볼 수 있고, 코드와 데이터는 KurbanIntelligenceLab/render-ceiling에 공개돼 있다. 이 글의 수치는 본문과 방법 절에서 직접 확인했다. 평가 세트에 상한을 함께 계산해 두는 방식을 이미 쓰고 있는 팀이 있다면 어떤 형태로 남기는지 나눠 주시면 좋겠다.
(주)페블러스 데이터 커뮤니케이션팀
2026년 9월 9일
참고문헌
학술 논문
- 1.Polat, C., Kurban, M., Serpedin, E., & Kurban, H. (2026). Separating perception from reasoning in vision–language models: a model-free render ceiling for crystal structures. arXiv:2609.00663
데이터·도구
- 2.Jain, A. et al. (2013). Commentary: The Materials Project: A materials genome approach to accelerating materials innovation. APL Materials, 1(1), 011002. doi.org/10.1063/1.4812323
- 3.Togo, A., Shinohara, K., & Tanaka, I. (2024). Spglib: a software library for crystal symmetry search. Science and Technology of Advanced Materials: Methods, 4(1), 2384822. arXiv:1808.01590
- 4.Kurban Intelligence Lab (2026). render-ceiling (code and data release). github.com/KurbanIntelligenceLab/render-ceiling