Executive Summary

결론부터 말하면, 픽셀 계열 월드모델이 물리를 어기는 것은 우연한 버그가 아니라 구조적 필연이다. 이 모델들은 방대한 영상을 보고 "다음 프레임이 어떻게 생겨야 통계적으로 그럴듯한가"를 학습한다. 학습 목표 어디에도 질량·힘·속도·접촉이라는 물리 상태가 명시적으로 들어 있지 않다. 모델은 세계가 어떻게 움직이는지를 아는 대신, 픽셀이 어떻게 배열되면 자연스러워 보이는지를 안다. 그래서 물체가 벽을 통과하고, 컵이 사라졌다 다시 나타나고, 떨어지던 공이 중력을 잊는 장면이 태연히 생성된다.

이런 실패는 몇 가지 전형적인 유형으로 반복된다. 물체가 다른 물체를 뚫고 지나가는 관통(interpenetration), 화면에서 벗어났던 물체가 다른 모습으로 돌아오는 물체 영속성(object permanence) 위반, 액체가 부피를 지키지 않는 질량 보존 위반, 그리고 충돌 후 운동량이 맞지 않게 튀는 운동량 보존 위반이다. 사람 눈에는 한 장면씩 보면 그럴듯하지만, 물리학의 잣대를 들이대면 곳곳이 어긋난다.

1.1결함은 얼마나 흔한가

이 결함은 예외가 아니라 다수다. Physion-Eval 벤치마크는 생성 영상을 사람이 직접 검토해 물리 결함을 세었는데, 3인칭(외부 시점) 영상의 83.3%, 1인칭(에고 시점) 영상의 93.5%가 최소 하나 이상의 식별 가능한 물리 결함을 담고 있었다. 열 편 중 여덟아홉 편이 "어딘가 물리를 어긴" 셈이다. 특히 카메라가 함께 움직이는 1인칭 영상에서 결함률이 더 높다는 점은, 로봇·자율주행처럼 관찰자가 움직이는 실제 응용에서 문제가 더 심각해짐을 시사한다.

평가 기준을 엄격하게 조일수록 통과율은 가파르게 떨어진다. 아래는 같은 "물리 준수"를 서로 다른 엄격도로 잰 세 지점이다. 의미와 물리를 동시에 만족해야 하는 기준(VideoPhy)에서 이미 40% 안팎이던 통과율은, 더 어려운 물리 시나리오로 좁힌 VideoPhy-2에서 22%까지 내려가고, 사람이 결함을 하나라도 찾는 방식(Physion-Eval)으로 보면 결함률이 90%대에 이른다.

월드모델이 물리를 다루는 방식은 크게 세 갈래로 나뉜다. 이 계보 자체는 앞선 서베이 편에서 정리했으므로, 여기서는 오직 하나의 축, "검증 가능성"으로만 다시 세워 본다. 각 갈래가 물리를 어떻게 다루느냐는, 곧 그 물리가 옳은지를 사후에 확인할 수 있느냐와 직결되기 때문이다.

픽셀식(Sora·Cosmos·Genie)은 물리를 픽셀 통계 안에 암묵적으로 녹인다. 명시적인 물리 상태가 없으니, 결과물의 물리를 확인하려면 픽셀에서 물리값을 도로 뽑아내는 수밖에 없다. 이것이 이 보고서 3장의 역추출 파이프라인이다. 물리식(시뮬레이터·명시적 상태)은 물리 엔진이 매 스텝 궤적·힘·충돌을 계산하므로, 물리값이 결과물과 함께 정답으로 존재해 검증이 필요 없다. 이해형 JEPA(V-JEPA 2, 얀 르쿤)는 픽셀 재현을 포기하고 잠재공간에서 다음 상태를 예측해 표현이 간결하지만, 그 잠재 표현이 실제 물리를 담았는지는 여전히 외부 테스트로 확인해야 한다.

"이해형이면 물리를 아는 것 아닌가"라는 기대는 아직 이르다. V-JEPA 2도 물리 위반을 일부러 삽입한 IntPhys 2 같은 직관 물리 테스트에서 사람에 유의미하게 못 미친다. 잠재공간에서 예측을 잘한다는 것과 물리를 정확히 이해한다는 것은 같지 않다. 즉 세 갈래 중 어느 쪽도 "검증 없이 물리적으로 옳다"고 단언할 수 없다. 유일한 예외는 애초에 물리 정답을 손에 쥔 시뮬레이터뿐인데, 이 대비는 6장에서 다시 만난다.

픽셀식 생성물에는 물리 상태가 없으니, 검증하려면 픽셀에서 물리를 도로 읽어내야 한다. 지난 2년 사이 이 작업에는 사실상의 표준 조립 라인이 자리 잡았다. 물체를 분리하고(세그멘테이션), 그 물체가 어디로 움직였는지 따라가고(궤적 추적), 어떤 자세로 놓였는지 재고(6자유도 자세), 카메라로부터 얼마나 떨어졌는지 재고(메트릭 깊이), 마지막으로 이 값들을 미분해 속도·가속도를 얻어 물리 법칙과 대조한다(물리량 산출). 각 단계는 잘 훈련된 파운데이션 모델이 하나씩 맡는다.

각 도구의 역할과 대표 정확도, 구조적 한계를 표로 모았다. 개별 성적은 90%대로 인상적이지만, 마지막 열의 한계들이 체인으로 엮이는 순간 오차는 곱해진다.

3.1세그멘테이션 — 무엇을 물체로 볼 것인가 (SAM2)

모든 물리 측정은 "무엇을 하나의 물체로 볼 것인가"에서 시작한다. Meta AI의 SAM2는 영상 전체에 걸쳐 물체를 프레임 단위로 분리·추적하는 파운데이션 세그멘테이션 모델로, DAVIS 벤치마크에서 J&F 90.7%를 낸다. 다만 색이나 형태가 비슷한 물체가 겹치거나 빠르게 움직이면 마스크가 이웃으로 새어 나가고, 이 경계 오차는 뒤따르는 궤적·자세·깊이 측정의 기준선을 통째로 흔든다.

3.2궤적 추적 — 물체는 어디로 움직였나 (CoTracker3·SpatialTrackerV2)

분리된 물체가 시간에 따라 어디로 갔는지를 좇는 단계다. CoTracker3는 화면 위 점의 2D 이동 경로를 촘촘히 추적하지만, 물체가 다른 것에 가려지는 폐색 상황에서 정확도(AJ)가 55.8에서 46.7로 떨어진다. 잠깐 가려졌을 뿐인데 추적점을 잃으면, 그 구간의 속도는 통째로 추정 불가가 된다. SpatialTrackerV2는 이를 3D로 확장해 공간 궤적을 복원하지만, 단안(하나의 카메라) 영상에서는 "이 물체가 실제로 얼마나 큰가"라는 절대 스케일을 원리적으로 확정할 수 없다. 스케일이 흔들리면 속도의 절대값도 함께 흔들린다.

3.36자유도 자세 — 어떤 방향으로 놓였나 (FoundationPose)

물체의 위치(3)와 회전(3)을 합친 6자유도 자세는 회전 운동·접촉·충돌을 판정하는 데 필수다. FoundationPose는 YCB 데이터셋에서 ADD-S 91.5%로 신규 물체 자세 추정의 표준이 됐다. 그러나 이 정밀도는 물체의 CAD 모델이나 소수 참조 이미지에 기댄 것이어서, 생성 영상에 흔한 처음 보는 물체나 형태가 변하는 변형체·유체 앞에서는 기준 자체가 흔들린다.

3.4메트릭 깊이 — 카메라에서 얼마나 먼가 (Depth Anything V2)

2D 궤적을 실제 물리 공간으로 되돌리려면 각 픽셀이 카메라에서 몇 미터 떨어졌는지를 알아야 한다. Depth Anything V2는 실내 벤치마크에서 상대 오차(AbsRel) 0.05대의 뛰어난 성적을 내지만, 이 강점은 거리가 멀어질수록 급격히 무너진다. 정확도의 하락은 거의 거리에 비례해서, 2m에서 89.1%였던 값이 6m에서는 70.8%까지 내려간다. 로봇·자율주행처럼 원거리·수중·야외 조건에서는 상대 오차가 0.27까지 악화된다. (V2가 V1을 항상 능가하지는 않으며, 원 논문도 "V1과 유사 수준"임을 명시한다.)

3.5물리량 산출과 규모화의 대가 (중심차분·Morpheus·ObjectForesight)

궤적·자세·깊이가 모이면 마지막으로 시간에 대한 미분(중심차분법)으로 속도·가속도를 얻고, 운동량·에너지 보존 같은 물리 법칙에 대조한다. 문제는 미분이 앞 단계의 작은 오차를 증폭한다는 데 있다. Morpheus는 실제 물리 실험을 촬영한 80여 개(개정판 130개) 영상을 기준으로, 가속도 점수(Acceleration Score)와 수평 운동량 보존(Momentum Conservation Score) 같은 보존량 지표만으로 채점한다. 정답 영상을 따로 두지 않고 "보존 법칙이 지켜졌는가"만 묻는 설계라, 원리적으로 정답이 없는 생성물에도 그대로 적용된다. ObjectForesight는 다른 길을 택한다. SAM2→SpatialTrackerV2→TRELLIS→FoundationPose 체인으로 EPIC 주방 영상에서 200만 개가 넘는 궤적을 뽑아, 0.84TiB 규모의 데이터셋으로 묶는다.

그런데 그 200만 궤적은 "잘 뽑아낸" 것이 아니라 "골라내고 남은" 것이다. ObjectForesight는 원시 궤적 약 229K개 중 절반가량인 112K개만 신뢰할 수 있어 나머지를 버렸다. 살아남은 궤적조차 투영 IoU가 0.1 아래로 떨어지면 국소 재정합을 다시 거쳐야 할 만큼, 손실을 메우는 보정이 파이프라인의 상당 부분을 차지한다. Morpheus도 상당한 폐기율(discard rate)을 전제로 규모를 맞춘다. 사후 역추출은 태생적으로 대량 손실을 감수해야만 규모화되는 정답을 골라내는 작업이다. 신뢰할 수 없는 궤적을 버려야 비로소 쓸 만한 궤적이 남는다.

개별 도구가 아니라 모델 전체의 물리 이해를 정면으로 재는 시도가 Physics-IQ다. 방법은 단순하고 영리하다. 유리컵이 넘어지고, 물감이 물에 퍼지고, 도미노가 쓰러지는 66개 실물 시나리오를 세 시점에서 두 번씩 촬영해 396개의 실제 영상을 만든다. 그런 다음 모델에게 앞의 3초를 보여주고 뒤의 5초를 예측하게 한 뒤, 모델이 그린 미래를 실제로 이어지는 영상과 IoU·MSE로 비교한다. 만점(100)의 기준은 "정답 영상"이 아니라 같은 장면을 다시 촬영한 실제-실제 영상 쌍의 자연 변동성이다. 사람이 봐도 두 번의 실제 촬영은 완전히 같지 않으니, 그 자연스러운 차이만큼을 100점으로 놓는 것이다. 촬영 대상은 특정 현상에 치우치지 않는다. 물감이 물에 번지는 유체역학, 빛의 반사·굴절 같은 광학, 도미노와 충돌의 고체역학, 자성, 열역학까지 다섯 갈래 물리를 고루 담아, 모델이 쉬운 물리 한둘만 흉내 내 점수를 부풀리지 못하게 막았다.

결과는 냉정하다. 가장 뛰어난 생성 모델조차 이 기준선의 24.1점에 그쳤다. 사람이 기대하는 물리적 연속성의 약 4분의 1만 재현한 셈이다. 픽셀 충실도라는 다른 잣대로 봐도 격차는 그대로다. 최고 모델의 예측 오차(MSE)는 0.010으로, 실제-실제 쌍의 0.002보다 다섯 배 컸다. 겉보기 화질과 물리적 연속성 어느 쪽으로 재도 생성물은 실제에 한참 못 미친다. 더 흥미로운 것은 시각적 사실성과의 관계다. 시각적으로 가장 그럴듯하다고 평가받은 Sora는 물리 이해에서 오히려 하위권(8.7)으로 밀렸다. 두 데이터 소스 모두 사실성과 물리 이해 사이 상관이 낮거나 음(陰)의 방향임을 지적한다. 잘 만든 영상일수록 물리를 잘 안다는 직관은 성립하지 않는다.

4.1검증기를 누가 검증하나 — Physics-IQ Verified

벤치마크가 권위를 얻으면, 그 벤치마크 자체가 얼마나 믿을 만한지를 되묻는 순간이 온다. 2026년 6월 발표된 Physics-IQ Verified는 원 벤치마크를 정밀 감사해, 표본의 57.6%가 측정하려는 물리와 무관한 아티팩트(조명 깜빡임, 카메라 흔들림, 압축 노이즈 등)에 오염돼 있었고, 프롬프트의 34.8%에 결함이 있었음을 밝혔다. 결정적으로, 오염을 걷어내고 다시 측정하니 모델 순위가 실제로 뒤바뀌었다. 원본과 재측정 순위의 상관은 Kendall τ=0.46에 그쳤다. "완만하지만 순위가 실제로 흔들리는" 수준이다.

산업계도 자동 채점의 한계를 인정하기 시작했다. 2026년 6월 GTC 타이베이에서 공개된 NVIDIA Cosmos 3(Nano 16B·Super 64B)는 함께 발표된 Cosmos Evaluator/HUE와 짝을 이룬다. 기존 리더보드가 포화 상태에 이르러 모델 간 차이를 더 이상 가려내지 못하자, NVIDIA는 채점 방식을 바꿨다. 생성 영상을 통째로 점수 매기는 대신, 단일 사실에 대한 Yes/No 질문으로 잘게 분해하는 "원자적 이진 검증"이다. 이 평가기는 별도 도구가 아니라 큐레이션(Cosmos Curator) → 도메인 적응(Cosmos-Transfer) → 품질 평가(Cosmos-Reason/Evaluator)로 이어지는 파이프라인의 마지막 단계로, NVIDIA OSMO가 전체를 오케스트레이션하며 로보틱스·자율주행을 포함한 7개 피지컬AI 도메인을 커버한다.

분해된 질문은 네 축으로 묶인다. 장면이 프롬프트의 의미와 맞는가(의미 정합), 물리 법칙을 지키는가(물리 법칙), 공간·기하가 일관되는가(기하 추론), 시각적으로 완결되는가(시각 완결성). "공이 바닥에 닿은 뒤 튀어 올랐는가?" 같은 이진 질문이 모여 하나의 영상을 채점하는 방식은, 애매한 총점보다 어디가 틀렸는지를 짚어내기에 유리하다. NVIDIA는 이 채점이 사람 평가와 높은 상관(ρ=0.96)을 보인다고 발표했다.

방향은 분명히 옳다. 그러나 두 가지 한계가 남는다. 첫째, 영상을 생성한 벤더가 채점까지 맡는 구조다. 생성과 평가가 같은 손에 있으면, 그 평가의 독립성은 원리적으로 제한된다(ρ=0.96도 NVIDIA 자체 발표이며 제3자 검증은 제한적이다). 둘째, 구체적인 점수 공식이 공개되지 않아 재현·감사가 어렵다. 그리고 이 모든 자동 검증은 여전히 3장에서 본 역추출의 약점(폐색·원거리·단안 스케일 모호성, 변형체·유체 미검증) 위에 서 있다.

지금까지의 논의를 한 축으로 세우면 이렇게 정리된다. 물리 데이터를 얻는 데는 세 갈래 길이 있고, 세 길은 물리 정답과의 관계가 근본적으로 다르다. 생성하는 순간에 물리를 심는 길(RoboScape), 생성한 다음에 물리를 되읽는 길(이 보고서의 역추출 검증), 그리고 애초에 물리 정답을 손에 쥐고 시작하는 길(시뮬레이터)이다.

내장형도 사후 감사형도 결국 근사다. RoboScape는 물리를 생성 과정에 심어 합성 200클립만으로 실제 데이터(92%)에 육박하는 91%를 냈지만, 여전히 물리를 심어야 했다. 그 물리가 데이터에서 얼마나 큰 몫을 지는지는 제거 실험이 보여준다. RoboScape에서 깊이·키포인트 같은 물리 컴포넌트를 걷어내자 성능이 40.6%p 무너졌다. 물리는 데이터에 얹은 장식이 아니라, 데이터가 제대로 작동하기 위한 조건이라는 뜻이다. 반대로 검증 없는 일반 생성물의 물리 준수율은 VideoPhy-2 기준 22%에 머문다. 91%와 22%의 격차가 곧 "물리를 데이터에 어떻게 담느냐"가 만드는 차이다. 그런데 시뮬레이터는 이 질문 자체를 우회한다. 물리 엔진이 매 스텝 계산한 궤적·힘·질량·충돌 이벤트가 영상과 함께 정답 장부(event ledger)로 남기 때문이다. 되읽을 필요도, 심을 필요도 없다.

이 대비는 AI-Ready Data의 세 차원, 곧 정확성(accuracy)·일관성(consistency)·출처성(provenance)과 정확히 맞물린다. 생성 영상은 출처도 정답도 없어 별도의 검증 인프라를 세워야 하고, 그 인프라마저 57.6%가 오염될 수 있다. 시뮬레이터 데이터는 생성 시점에 정답 라벨이 함께 나오므로 세 차원을 태생적으로 만족한다. 검증이 어려운 문제일수록, 검증할 필요조차 없는 정답을 대량 생성하는 능력이 데이터의 해자가 된다.

더 읽을거리로, 물리를 생성 시점에 내장하는 대비편 RoboScape 편과, 월드모델 계보를 폭넓게 다룬 월드모델 서베이 편을 함께 권한다.

페블러스 데이터 커뮤니케이션팀
2026년 7월 11일

참고문헌

벤치마크 · 물리 이해

• 1.Motamed, Culp, Swersky, Jaini, Geirhos. "Do generative video models understand physical principles?" (Physics-IQ), arXiv:2501.09038 (ICCV 2025).
• 2.Rädsch, Asano, Kuehne, Bauer, Jaini, Geirhos, Lüth. "Physics-IQ Verified," arXiv:2606.18943 (2026).
• 3.Zhang et al. "Morpheus: Benchmarking Physical Reasoning of Video Generative Models," arXiv:2504.02918.
• 4.Bansal et al. "VideoPhy," arXiv:2406.03520 · "VideoPhy-2," arXiv:2503.06800.
• 5."Physion-Eval," arXiv:2603.19607.
• 6."ObjectForesight: Predicting Future 3D Object Trajectories from Human Videos," arXiv:2601.05237.

역추출 도구

• 7.Ravi et al. (Meta AI). "SAM 2: Segment Anything in Images and Videos," arXiv:2408.00714.
• 8.Karaev et al. "CoTracker3," arXiv:2410.11831 · "SpatialTrackerV2," arXiv:2507.12462.
• 9.Wen et al. "FoundationPose," arXiv:2312.08344 (CVPR 2024).
• 10.Yang et al. "Depth Anything V2," arXiv:2406.09414.

월드모델 · 산업

• 11.NVIDIA. "Cosmos 3: Omnimodal World Models for Physical AI," arXiv:2606.02800 (2026) · NVIDIA/cosmos-evaluator (GitHub).
• 12.Assran et al. (Meta AI). "V-JEPA 2," arXiv:2506.09985.
• 13."RoboScape," arXiv:2506.23135 (NeurIPS 2025).
• 14.google-deepmind/physics-iq-benchmark (GitHub) · INSAIT 발표문.