Executive Summary

주요 수치

출처: Saha 외, New Evidence, Same Choice: Testing Physical Experiment Selection in Vision Language Models arXiv:2609.11022v1(2026-09-10) 결과 및 부록

물리 추론 벤치마크는 대개 최종 답만 채점한다. 그래서 모델이 답을 맞히기까지 어떤 결정을 거쳤는지는 점수에 남지 않는다. 논문이 드는 예가 간단하다. 문항의 절반이 이미 답할 수 있는 문항이라면, 언제나 멈추고 답하는 모델은 아무것도 판단하지 않고도 절반을 가져간다. 평균 점수는 그 절반을 실력으로 적어 준다.

평균이 실력으로 적어 준 그 절반은 여섯 모델의 기록에 숫자로 찍혀 있다. Pixtral 12B는 전체 결정의 97.6%에서 멈추기를 골랐는데, 최소 비용 선택 정확도는 48.8%로 절반에 가깝다. Qwen2.5-VL 32B는 49.5%로 여섯 모델 가운데 직답 점수가 가장 높다. 두 숫자만 보면 동전 던지기 수준의 실력으로 읽히지만, 쌍 단위로 다시 세면 Pixtral은 온전히 맞힌 쌍이 하나도 없고 32B도 0.3%에 그친다.

앞선 시도가 없지는 않았다. TRAPSBench는 증거가 충분한 문제와 불충분한 문제를 짝지어 절제를 보고, OMD-Bench는 입력을 일부러 망가뜨려 기권이 보정되는지를 본다. 이 논문이 하나 더 요구하는 것은 빠진 측정 가운데 무엇을 고를지다.

과제는 세 가지 역학이다. 밀려난 물체가 미끄러져 멈추는 거리, 떨어진 물체가 튀어오른 뒤의 에너지, 용수철에 매달린 물체의 진동 주기. 각 문제에는 가능한 세계가 넷 있고, 두 가지 질량과 다른 속성 두 값의 조합으로 만들어진다. 다른 속성은 마찰계수이거나 반발계수이거나 용수철 강성이다.

모델이 받는 것은 자와 표시된 위치, 시간이나 하중이 담긴 네 패널짜리 그림 한 장이다. 이 첫 측정은 속성 하나를 밝히고 가능한 세계를 넷에서 둘로 줄인다. 남은 둘이 같은 답을 가리키면 더 잴 것이 없고, 서로 다른 답을 가리키면 하나를 더 재야 한다. 속성 검사는 한 단위, 두 속성을 한꺼번에 받는 보고서는 두 단위, 접촉 전 자유낙하는 한 단위인데 두 미지수 어느 쪽도 밝히지 못한다.

쌍은 두 방식으로 만든다. 질문을 그대로 두고 이미지만 바꾸면 프롬프트의 글자는 한 바이트도 달라지지 않는다. 반대로 이미지를 그대로 두고 물어보는 기준값만 바꾸면 그림과 선택지 배열은 손대지 않은 채다. 어느 쪽이든 정답 행동은 쌍 안에서 갈린다. 가능한 세계와 가격을 전부 알고 있으니 무엇이 정답인지는 계산으로 정해진다.

규모는 독립적인 물리 계통 144개이고 계통마다 48개씩 세 과제에 나뉜다. 여기서 결정 576개와 쌍 288개가 나온다. 저자들은 같은 문제를 푸는 결정론적 참조 프로그램도 함께 돌려 기록 9,216건 전부에서 정답을 얻었다. 다만 그 프로그램은 교정값과 패널 경계와 항목 식별자까지 받아 보므로, 절차가 제대로 짜였다는 확인일 뿐 모델과 나란히 놓고 비교할 점수가 아니라고 논문은 못 박는다.

설계가 의도대로 됐는지는 부록에서 따로 셌다. 질문을 고정한 288쌍은 전부 텍스트가 같았고, 숨은 세계를 가르지 못하는 측정 1,152건은 이미지 바이트까지 같았다. 표시된 위치를 검출기로 되읽었을 때 오차는 패널 폭의 0.456%를 넘지 않았고, 구분해야 할 특징의 최소 간격은 54픽셀로 구현이 요구한 8픽셀보다 넉넉했다. 임계값이 가장 빠듯한 문항도 여유가 17.2%였고 보고된 검사 실패는 없다. 다만 이 확인은 원본 시트를 대상으로 한 것이지, 모델이 실제로 받는 축소되고 토큰화된 입력까지 검사한 것은 아니다.

시험 대상은 Qwen2.5-VL 3B와 7B와 32B, SmolVLM2 2.2B, Idefics3 8B, Pixtral 12B다. 가중치는 바꾸지도 양자화하지도 않았다. 직답 프롬프트에서 이미지를 바꾼 288쌍 가운데 같은 행동이 나온 비율은 SmolVLM2의 95.1%가 가장 낮고 Pixtral의 100.0%가 가장 높다. 정답 행동은 쌍 안에서 한 번도 반복되지 않도록 설계되어 있으니, 이 숫자는 곧 증거 변화가 행동에 닿지 않았다는 뜻이다. 질문의 기준값만 바꾼 쌍에서도 95.5%에서 97.9% 사이가 나왔다.

결정을 둘로 갈라 보면 실패가 한 덩어리가 아니다. 답할 수 있는 288문항에서 제대로 멈췄는가와, 아직 갈리는 288문항에서 옳은 측정을 골랐는가를 따로 세면 모델마다 무너지는 자리가 다르다.

네 모델에서는 멈춰야 할 때 멈추는 쪽이 훨씬 잘 나오고 무엇을 잴지는 거의 못 고른다. Pixtral이 그 극단이라, 답할 수 있는 문항의 97.6%에서 멈추면서도 옳은 측정은 한 번도 고르지 못했다. 거의 언제나 멈추는 습관이 앞 열의 높은 점수를 만들어 낸다. 반대 방향도 있다. Qwen2.5-VL 3B는 멈춰야 할 문항에서 2.1%만 멈췄고, 대신 측정을 고르는 쪽이 16.0%로 여섯 중 두 번째다. 세 Qwen 크기가 나란히 오르내리지도 않아서, 논문은 여기서 규모 법칙을 세울 수 없다고 적었다.

부록의 선택 분포를 나란히 놓으면 그 습관이 눈으로 보인다. 저자들은 이미 답할 수 있는 288문항과 아직 갈리는 288문항에서 여섯 모델이 무엇을 골랐는지 각각 세어 두 표로 실었다. 두 무리는 정답 행동이 정반대다. 앞쪽에서는 멈추기만 최소 비용이고 뒤쪽에서는 빠진 속성을 재는 쪽이 가장 싸다. 그런데 직답 프롬프트에서 나온 분포는 거의 겹친다. Pixtral은 양쪽 모두 281번 멈추고 7번은 이미 잰 속성을 다시 샀다. 두 줄이 여섯 칸 전부 같은 숫자다. Qwen2.5-VL 32B의 멈춤은 216번과 218번, Qwen2.5-VL 3B의 재구매는 233번과 232번, Idefics3의 재구매는 93번과 95번이다. 답이 이미 정해졌는지 아닌지가 선택에 거의 들어오지 않는다.

측정을 사기로 한 뒤에도 습관이 따라온다. Qwen2.5-VL 3B가 아직 갈리는 문항에서 속성 하나를 사들인 278건 가운데 83.5%는 앞서 그림으로 이미 잰 속성을 다시 요청한 것이었다. Idefics3는 110건 중 86.4%, SmolVLM2는 199건 중 80.9%로 같은 쪽으로 기운다. Qwen2.5-VL 32B는 이 실수를 거의 하지 않는 대신 아직 갈리는 문항의 75.7%에서 그냥 멈춰 버린다.

두 번째 프롬프트는 짧은 문장 두 개로 근거를 적고 마지막 줄에 답을 적으라고 요구한다. 토큰 한도는 256이다. 이걸 붙이자 행동 반복률이 70.8%에서 93.8% 사이로 내려간다. 증거가 바뀔 때 행동도 바뀌는 일이 분명히 늘었다. 쌍을 온전히 맞힌 최고 기록도 여기서 나왔고, Qwen2.5-VL 7B의 5.9%다. 95% 구간은 3.1에서 9.0이다. 다만 적어 낸 근거가 맞는지는 또 다른 문제다. 저자들이 옮겨 둔 같은 모델의 미끄러짐 사례에서는 행동이 맞았는데도 근거에 그 그림이 "물체의 멈추는 거리를 직접 보여 준다"고 적혀 있다. 옆에 붙은 저자들의 읽기는 다르다. 그림은 이미 알려진 속도에서 시작하고, 물어보는 시행은 충격을 준 뒤부터 시작한다.

그런데 정확도는 한 방향으로 움직이지 않았다. 최소 비용 선택 정확도로 보면 Qwen2.5-VL 3B가 9.0%에서 25.0%로, Idefics3가 33.2%에서 41.0%로 올랐다. 같은 프롬프트에서 Qwen2.5-VL 32B는 49.5%에서 21.0%로, Pixtral은 48.8%에서 17.2%로 내려갔다. 멈춰야 할 때 멈추는 비율만 보면 낙차가 더 크다. 32B는 75.0%에서 20.1%로, Pixtral은 97.6%에서 20.5%로 떨어졌다. 행동이 다양해진 만큼 정답에 가까워졌다고 읽을 수 없는 이유를 논문이 직접 적어 두었다. 바뀐 것처럼 보이는 응답 가운데 일부는 무효한 출력이거나 파서가 잘못 읽은 것이다.

무엇을 잴지 고르는 일과 잰 값을 쓰는 일은 서로 다른 실패이고, 논문이 달아 둔 유보 가운데 이쪽이 더 무겁다. 저자들은 아직 갈리는 문항에 쓸모 있는 측정 결과를 공짜로 쥐여 준 뒤 최종 답을 다시 받아 봤다. 가장 잘한 Qwen2.5-VL 3B가 34.6%, SmolVLM2가 15.3%였고 나머지 네 모델은 1%에 못 미쳤다.

그 네 모델이 틀린 답을 적어 낸 것은 아니다. 측정을 받은 뒤의 답 요청 4,608건 가운데 판단할 수 없다는 응답이 Pixtral은 4,608건 전부, Idefics3는 4,595건, Qwen2.5-VL 32B는 4,582건, 7B는 4,537건이다. 증거가 충분해진 조건에서도 점수가 0 근처에 붙어 있는 이유가 여기 있다. 저자들은 이것이 기록된 응답의 성질일 뿐 모든 수치 계산이 실패했다는 증거는 아니라고 선을 그었다.

그림을 빼고 두 속성 값을 숫자로 다 줘도 계획해 둔 75% 기준에 닿은 모델은 없다. 계산 자체를 떼어 재도 성적이 낮다. 선택지가 둘뿐이라 찍기만 해도 50%가 나오는 검사가 둘 있는데, 그 둘에서 여섯 모델이 모두 그 언저리에 모여 있다. 첫 그림이 어느 값을 가리키는지 되맞히는 문항은 49.7%에서 53.5% 사이이고, 참과 거짓이 반반인 계산 문항은 가장 높은 Qwen2.5-VL 32B가 50.4%다. 자 눈금을 읽는 능력부터 편차가 커서 Qwen2.5-VL 7B는 83.7%인데 Idefics3는 2.8%다.

Pixtral은 두 속성 값을 다 받은 직답 조건에서 0.1%를 기록했는데, 요청 1,152건 중 답 형식에 맞게 나온 것이 하나뿐이었다. 유도를 쓰기 시작하다 토큰 한도에 걸린 생성이 많았고, 짧은 추론을 허용하자 같은 조건에서 45.5%가 나왔다. 낮은 점수가 늘 지식 부재는 아니다. 프롬프트를 손보는 것도 공통 처방이 되지 못한다. 자 눈금을 글로 읽어 주면 네 모델이 9.0에서 14.2퍼센트포인트 오르지만, Qwen2.5-VL 32B는 그대로였고 Pixtral은 35.8퍼센트포인트 떨어졌다. 나머지 세 변형은 더 밋밋하다. 예측 공식을 그대로 줘도 SmolVLM2만 5.2퍼센트포인트 오르고 다른 다섯 모델은 구간에 0이 들어간다. 남은 가능성을 세어 보라고 시키는 쪽도 같은 모델만 10.1퍼센트포인트 올랐다. 색과 선을 바꿔 다시 그린 그림도 Qwen2.5-VL 7B가 2.8퍼센트포인트 오른 것 말고는 눈에 띄는 변화가 없다.

마지막 실험 하나가 이 결함의 값을 매긴다. 저장해 둔 응답 기록을 그대로 두고 선택 규칙만 바꿔 다시 채점한 결과다. Qwen2.5-VL 3B가 자기 판단으로 고를 때는 평균 비용 0.99를 쓰고 18.8%를 맞혔다. 가장 싼 충분한 측정만 고르는 규칙으로 바꾸면 비용은 0.50으로 내려가고 정답은 31.7%로 올라간다. 둘 다 받아 보는 규칙은 비용 2.00을 쓰고도 32.1%에 머문다. SmolVLM2에서는 더 분명하다. 자기 선택이 0.79에 12.0%, 최소 비용 규칙이 0.50에 19.4%인데, 둘 다 받아 보는 규칙은 네 배를 쓰고 15.6%로 도로 내려간다. 덜 재고 더 맞히는 자리가 남아 있다는 뜻이다. 다만 이것은 이미 저장된 답을 다시 채점한 것이지, 새 가격표를 보여 줬을 때 모델이 반응하는지를 시험한 것이 아니다.

논문이 다루는 범위는 특정 오픈 체크포인트 여섯 종, 이상화된 세 가지 역학 계통, 값이 두 개뿐인 이산 속성, 추가 실험 최대 한 번까지다. 자연 영상과 센서 잡음과 실물 로봇과 자유로운 실험 설계는 대상이 아니다. 선택과 응답이 별도 호출이라 답하는 쪽은 자기가 왜 그 측정을 골랐는지 보지 못한다.

실험실 밖에서도 같은 질문이 남는다. 과학과 제조 현장에서는 실험 설계와 계측이 곧 데이터 수집이다. 무엇을 더 잴지 정하는 자리에 모델을 앉히는 설계가 늘고 있는데, 이미 아는 값을 또 재는 습관도 아직 갈리는 상황에서 그냥 멈추는 습관도 최종 정답률만 보면 평균 안으로 섞여 들어간다. 벤치마크 점수가 무엇에 붙은 점수인지를 되묻는 문제는 정답의 상한을 모델 없이 계산한 결정구조 사례에서도 같은 모양으로 나왔고, 실험 설계를 사람이 놓지 않으려는 이유는 과학자들이 AI에 넘기지 않는 일에서 이어 볼 수 있다.

여기까지 읽어 주셔서 감사하다. 원문은 arXiv:2609.11022에서 전문을 볼 수 있고, 이 글의 수치는 본문과 부록 표에서 직접 확인했다. 수집할 데이터를 모델에게 고르게 하는 구조를 이미 쓰고 있는 팀이 있다면 어떤 안전장치를 뒀는지 나눠 주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 9월 14일

참고문헌

• 1.Saha, S., Dipta, S. R., Sarwar, N., Saha, S., Jiang, Y., Li, S., & Wang, Q. (2026). New Evidence, Same Choice: Testing Physical Experiment Selection in Vision Language Models. arXiv:2609.11022