Executive Summary
시뮬레이터가 뽑아낸 궤적은 로봇 학습과 합성 데이터 파이프라인에서 오래전부터 정답지 노릇을 해 왔다. 이 리포트는 그 정답지를 채점한다. 생성된 영상이 아니라, 그 영상을 채점할 때 기준으로 삼던 물리 엔진 자체가 대상이다. 결과물을 감사하는 일과 기준 자체를 검증하는 일은 층위가 다른 질문이고, 지금까지 뒤쪽은 거의 비어 있었다.
2026년 8월 공개된 GAUGE 벤치마크는 적외선 모션캡처로 실제 궤적을 붙잡고, 마찰과 반발, 직물 강성, 영률을 따로 계측해 각 엔진의 파라미터로 옮긴 뒤 Isaac Sim·Genesis·Newton을 같은 상황에 세웠다. 채점의 눈금은 실측 자체의 반복 오차다. 매끄럽게 미끄러지고 회전하는 강체 운동에서 엔진들은 대체로 그 눈금 안팎에 들어왔지만, 공이 튀는 순간에는 최고 성적조차 실측 반복오차의 15.6배로 벌어졌다. 전 영역에서 고른 엔진은 하나도 없었고, 강한 영역이 엔진마다 어긋났다.
이것은 라벨이 틀린 데이터가 아니다. 라벨은 완벽하고 분포도 균형 잡혀 있는데 좌표계가 흔들리는 데이터다. 기존의 데이터 품질 검사는 설계상 이 유형을 잡지 못한다. 그래서 이 글의 후반부는 검사를 어느 층위에 새로 걸어야 하는지, 그리고 계측 장비가 없는 팀은 무엇부터 할 수 있는지를 다룬다.
0개
전 영역에서 고른 엔진
14개 과제 대조에서 강체·직물·발포체를 함께 잘 맞힌 엔진은 없었다
15.6배
충격 접촉의 최고 성적
튀는 공에서 가장 잘한 엔진도 실측 반복오차의 15.6배로 어긋났다
128배
직물을 털어낼 때 최악값
같은 새틴 천이 천천히 늘일 때는 0.73배, 빠르게 털면 128배
0.20
뉴턴 요람 운동량 전달
1.0이 실측 수준. 두 엔진 모두 정지 구간을 아예 만들지 못했다
정답지를 채점할 자가 없었다
로봇 시뮬레이터를 고르는 사람이 가장 먼저 마주치는 숫자는 정확도가 아니라 속도다. Genesis는 초당 4,300만 프레임, 실시간의 43만 배라는 수치를 앞세우고, Isaac Sim은 병렬 환경 수와 GPU 처리량을 말하며, Newton은 눈밭과 자갈 위를 걷는 로봇 데모를 보여 준다. 세 곳 모두 자기 엔진이 얼마나 빠른지는 정밀하게 말하지만, 실제로 측정한 궤적과 얼마나 어긋나는지를 수치로 공표한 곳은 확인되지 않는다.
Genesis의 4,300만 프레임은 공식 자료에도 조건이 적혀 있다. GPU 한 장 위에 평면 하나와 로봇 팔 하나를 올린 최소 장면에서, 수천 개 병렬 환경을 합산한 처리량이다. 접촉이 거의 없는 장면이라는 뜻이기도 하다. NVIDIA는 접촉 정확도를 다른 방식으로 관리한다. 충돌 형상에서 얼마나 떨어진 지점부터 접촉 구속을 만들지 정하는 contact offset 같은 노브의 튜닝 가이드를 두고, PhysX의 알려진 한계와 우회법을 표로 유지한다. 검증된 오차 범위를 공표하는 대신 정확도 판단을 사용자에게 넘기는 구조다. 사용자 입장에서는 자기 설정이 실제와 얼마나 벌어졌는지 알 방법이 없다.
1.1선행 연구는 시험지를 보고 답을 썼다
시뮬레이터를 실측과 맞대 본 연구가 없던 것은 아니다. 강체 조작 궤적이나 고속 충돌을 실제 계측과 비교한 작업이 있었고, 막대와 판을 굽히고 비틀며 스케일링 법칙을 확인한 실험도 있었다. GAUGE 연구진은 그 계보를 정리하면서 두 가지 결함을 지목한다. 하나는 각 연구가 물체 종류 하나에 묶여 있었다는 점이고, 다른 하나가 더 결정적이다. 원문의 표현으로 "여러 연구가 평가에 사용한 바로 그 관측치로 시뮬레이터 파라미터를 적합했다". 시험 문제를 보고 답을 맞춘 셈이라, 얼마나 잘 맞혔는지는 시뮬레이터의 능력이 아니라 적합의 자유도를 잰 것에 가깝다.
GAUGE는 이 두 지점을 동시에 막았다. 물성을 평가와 무관하게 따로 계측해 엔진에 넣었고, 강체와 직물과 발포체를 하나의 계측 체계로 가로질렀다. 계측 체인은 다음 순서로 돈다. 실물 실험을 모션캡처로 잡아 기준 궤적을 만들고, 같은 물체의 물성을 별도 장비로 재고, 그 값을 각 엔진의 파라미터 표현으로 번역해 넣은 뒤, 엔진을 돌려 나온 궤적을 처음의 기준 궤적과 맞댄다.
GAUGE의 계측 체인. 모션캡처가 기준 궤적을, 물성 계측이 엔진 입력을 만든다. 평가에 쓴 궤적으로 파라미터를 맞추지 않는다는 점이 선행 연구와 갈리는 지점이다. (arXiv:2608.05948)
1.2무엇을 어떻게 쟀나
기준 궤적은 광학 모션캡처 카메라 16대로 잡았다. 2m×2m×2m 공간에서 180Hz로 촬영했고, 3차원 위치 정밀도는 서브밀리미터, 마커는 지름 6mm에 0.5g짜리 재반사 구체다. 과제마다 20회씩 독립 시행을 반복했는데, 이 반복이 뒤에 나올 채점 눈금의 정체다. 시뮬레이션 쪽 시간 간격도 계측에 맞춰 강체와 직물은 180Hz로 돌렸고, 3차원 변형체만 수치 발산을 막기 위해 900Hz로 올렸다.
물성은 네 종류를 각각 다른 장비로 쟀고, 잰 값을 엔진마다 다른 표현으로 옮겼다. 같은 강성 값이라도 Isaac Sim에서는 두께로 나눈 탄성계수가 되고 Genesis에서는 그 역수인 컴플라이언스가 된다. 아래 표가 그 번역표다.
| 물성 | 계측 방법 | 엔진 파라미터로 옮기는 방식 |
|---|---|---|
| 마찰계수 | 경사면법. 기울기와 가속도로 μ 산출 | 각 엔진의 마찰 파라미터에 직접 입력 |
| 반발계수 | 에어베어링 레일 충돌, 충돌 전후 속도비 | 각 엔진의 반발 파라미터에 직접 입력 |
| 직물 강성 | 전용 계측기로 경사·위사·대각 인장, 캔틸레버 굽힘 | Isaac Sim은 탄성계수와 굽힘 강성으로, Genesis는 컴플라이언스로, Newton은 삼각형 요소 계수로 |
| 영률·푸아송비 | 압축 시험과 디지털 이미지 상관법, 응력-변형 곡선의 초기 선형 구간 적합 | Isaac Sim은 FEM, Genesis는 MPM 재료 파라미터로 |
물성 계측과 엔진 파라미터 사상 (arXiv:2608.05948 부록 A.2.2)
표에서 이름 하나가 따로 눈에 걸린다. 직물의 인장과 굽힘 강성을 잰 Style3D는 이 벤치마크의 계측 쪽에만 등장하는 이름이 아니다. Newton의 직물 백엔드 목록과 생태계 참여사 명단에도 같은 이름이 올라 있다. 천의 물성을 재는 쪽과 그 물성으로 천을 푸는 쪽이 같은 이름으로 겹치기 시작한 것이다. 두 활동은 서로 다른 일이지만, 실측 기반 검증이 논문의 소재를 넘어 산업 인프라 쪽으로 옮겨 가는 중이라는 신호로는 읽어 둘 만하다.
이 번역 과정 자체가 해석을 포함한다는 점은 연구진도 인정한다. 실험실에서 잰 강성을 각 엔진의 재료 모델로 옮기는 순간, 어떤 엔진에는 유리하고 어떤 엔진에는 불리하게 작용할 여지가 생긴다. 그래서 논문은 엔진별 사상식을 그대로 공개했다. 결과에 동의하지 않는 쪽이 반박할 수 있는 형태로 열어 둔 셈이다.
눈금부터 세워야 성적표가 읽힌다
GAUGE는 엔진 A와 엔진 B를 견주지 않는다. 같은 실험을 20회 반복했을 때 실측이 스스로에게서 벗어나는 폭을 1.0으로 두고, 엔진이 그 몇 배만큼 벗어나는지를 잰다. 사람이 물체를 놓는 손끝의 미세한 차이 때문에 실제 실험도 매번 조금씩 다른 궤적을 그리는데, 그 산포가 기준선이 되는 것이다. 1.0이라는 값은 엔진이 실제에서 벗어난 정도가 실제가 스스로를 반복할 때 벗어나는 정도와 같다는 뜻이다.
그래서 1보다 작은 값이 나올 수도 있다. 엔진의 궤적이 실측의 산포보다 안쪽에 들어왔다는 의미이지, 엔진이 현실보다 정확하다는 뜻은 아니다. 반대로 15배라면 그 차이의 대부분은 우연한 흔들림이 아니라 솔버가 만들어 낸 계통 오차다. 한 가지 더 주의할 점이 있다. 과제마다 재는 대상이 달라서 위치는 밀리미터, 직물은 곡률과 면적으로 표현된다. 같은 행 안에서 엔진끼리 비교하는 것은 성립하지만, 행과 행 사이의 절대 비교는 성립하지 않는다.
무엇을 재는지도 과제마다 다르다. 궤적이 남는 과제에서는 두 지표를 함께 쓴다. 프레임을 시각 순서대로 맞춘 뒤 위치 편차를 제곱평균제곱근으로 모으는 RMSE와, 시간축이 조금 밀리는 것을 허용하고 궤적의 모양이 얼마나 닮았는지를 보는 DTW다. 아래 표에는 RMSE만 실었지만 논문은 두 값을 나란히 보고하고, 두 지표가 가리키는 방향은 대체로 같다. 튀는 공에서 최고 성적은 RMSE로 15.63배, DTW로 5.58배였다. 반대로 뉴턴 요람처럼 궤적 사이의 거리만으로는 실패가 드러나지 않는 과제에서는 다른 것을 본다. 가운데 공들이 멈춰 서 있는 시간의 최장 길이와, 충돌에서 운동량이 끝에서 끝으로 얼마나 건너가는지다.
벤치마크 전체는 22개 과제군으로 짜여 있다. 강체 8개, 케이블 1개, 직물 6개, 3차원 변형체 7개다. 이 가운데 엔진 대조에 실제로 쓰인 것은 14개다. 강체 7개와 직물 3개, 발포체 4개가 세 엔진을 같은 조건에 세운 표를 채운다. 그 표에서 대표 행만 뽑으면 아래와 같다.
| 과제 (재질) | 지표 | 실측 기준값 | Isaac Sim | Genesis | Newton |
|---|---|---|---|---|---|
| 턴테이블 (금속) | RMSE | 13.26 (7.43) | 0.17× | 0.57× | 20.04× |
| 직물 인장 (새틴) | RMSE | 0.21 (0.42) | 0.73× | 1.51× | 0.73× |
| 경사 접촉 (플라스틱) | RMSE | 12.31 (7.62) | 1.26× | 1.60× | 1.75× |
| 비평활 접촉 (플라스틱) | RMSE | 17.67 (6.19) | 1.53× | 10.04× | 6.05× |
| 직물 굽힘 (새틴) | RMSE | 1.92 (0.69) | 7.94× | 11.73× | 19.90× |
| 튀는 공 (고무) | RMSE | 5.29 (3.60) | 15.63× | 22.50× | 22.71× |
| 발포체 전단 (연질) | RMSE | 5.60 (0.70) | 26.13× | 15.26× | 26.57× |
| 직물 플링잉 (새틴) | RMSE | 0.016 (0.0056) | 128.26× | 8.54× | 9.25× |
| 뉴턴 요람 (금속) | 정지 구간 / 운동량 전달 | 0.38초 / 93.02 | 0.00 / 0.20 | 유효 롤아웃 실패 | 0.00 / 0.26 |
엔진 열은 모두 실측 기준값 대비 배수다. RMSE는 작을수록 좋고, 정지 구간과 운동량 전달은 1.0에 가까울수록 좋다. 굵은 값은 그 행에서 가장 나은 엔진. 실측 기준값 괄호 안은 시행 간 표준편차. 과제마다 관측량 단위가 달라 행 사이 비교는 성립하지 않는다. (arXiv:2608.05948 Table 3에서 대표 9행 발췌)
로그 눈금 위에 같은 값을 늘어놓으면 오차가 큰 과제들이 한쪽으로 몰린다. 세로 굵은 선이 1.0이고, 오른쪽으로 갈수록 실측에서 멀어진다. 왼쪽 절반에 머무는 과제는 매끄러운 회전과 미끄럼, 천천히 늘이는 직물처럼 힘이 서서히 실리는 상황이고, 오른쪽 끝으로 밀려난 과제는 하나같이 짧은 순간에 큰 에너지가 오간다.
가로축은 실측 반복오차 대비 배수(로그 눈금). 오렌지 세로선 왼쪽은 실측 산포 안쪽, 오른쪽은 계통 오차 영역이다. 세 마커가 한 행에서 크게 흩어질수록 그 물리에서 엔진 간 편차가 크다는 뜻이다. (arXiv:2608.05948 Table 3)
지도에서 가장 눈에 띄는 것은 오차의 크기가 아니라 순위의 불안정이다. 턴테이블에서 Isaac Sim은 0.17배로 실측 산포의 6분의 1까지 붙는데, 같은 과제에서 Newton은 20.04배로 세 엔진 중 최악이다. 직물을 빠르게 털어내는 과제에서는 정반대가 된다. Genesis가 8.54배로 가장 낫고 Isaac Sim이 128.26배로 무너진다. 발포체는 인장과 전단, 비틀림에서 Genesis가 앞서지만 굽힘에서는 Newton이 낫다.
다만 부피 변형체에서는 순위보다 바닥이 문제다. 연구진의 정리는 누가 이겼는지와 무관하게 냉정하다. 가장 잘 나온 변형체 시뮬레이션조차 실측 기준선보다 한 자릿수, 그러니까 열 배 안팎 큰 오차를 남긴다는 것이다. 연질 발포체 전단을 시간 정렬을 허용한 DTW로 다시 봐도 16.74배에서 29.34배 사이라 지표를 바꿔도 결론이 따라오지 않는다. 승자를 가리는 일이 무의미해지는 구간이 여기서 시작된다.
논문의 종합 문장은 짧다. 강체와 직물, 부피 변형을 통틀어 어느 엔진도 지배하지 못하며, 대신 서로 보완적인 솔버 강점이 드러난다는 것이다. 그러니까 "어느 엔진이 정확한가"라는 질문 자체가 잘못 놓여 있었다. 답에는 언제나 "어떤 물리에서"가 붙어야 한다.
왜 하필 거기서 틀리는가
답은 물체의 종류가 아니라 시간에 있다. 연구진이 남은 오차의 주된 출처로 꼽은 것은 동적 접촉과 고가속 직물 운동, 3차원 변형 세 가지인데, 목록만 보면 서로 다른 물리처럼 보인다. 그런데 셋 다 짧은 시간에 큰 에너지가 오간다. 공이 바닥에 닿는 수 밀리초, 천이 방향을 바꾸며 채찍처럼 펴지는 순간, 발포체가 눌려 내부 응력이 재배치되는 구간이 그렇다. 반대로 힘이 천천히 실리는 준정적 구간에서는 세 엔진 모두 실측 산포 근처로 들어온다.
3.1천천히 통과했다고 빠르게도 통과하는 게 아니다
가장 무거운 사례는 천 한 장에서 나온다. 같은 새틴 천을 천천히 잡아당기는 인장 과제에서 Isaac Sim과 Newton은 0.73배를 기록했다. 실측 산포 안쪽이니 합격이다. 그런데 그 천을 손목을 털듯 빠르게 흔드는 과제로 넘어가면 Isaac Sim은 128.26배로 어긋난다. 재질도 같고, 계측해 넣은 강성 파라미터도 같고, 솔버도 같다. 바뀐 것은 운동의 속도뿐이다.
논문은 이 관찰을 한 문장으로 못 박는다. 준정적 일치는 빠르고 공간적으로 변화하는 변형에서의 충실도를 신뢰할 만하게 예측하지 못한다는 것이다. "우리 시뮬레이터로 정적 시험을 통과했다"는 검증은 동적 구간에 대해 아무것도 보증하지 않는다. 정적 시험은 통과 여부가 아니라 시험 범위를 말해 줄 뿐이다.
3.2보기 좋은 주기 아래에서 보존 법칙이 샌다
두 번째 균열은 더 은근하다. 진자 과제에서 Isaac Sim과 Newton은 정규화 주기 1.10과 1.09를 기록했다. 눈으로 보든 그래프로 보든 거의 정확하다. 그런데 같은 롤아웃에서 에너지 오차가 누적된다. 원시값 기준 에너지 손실이 −0.041에서 0.034 사이로 흩어지는데, 이 지표는 0이 이상적이다. 음수라는 것은 손실이 아니라 없던 에너지가 생겼다는 뜻이다. 연구진의 결론은 저주파 운동을 맞히는 것이 충격 해석의 정확도나 긴 시간 지평에서의 에너지 거동을 함의하지 않는다는 것이다.
뉴턴 요람은 같은 문제를 더 극적으로 보여 준다. 실제 장치에서는 가운데 공들이 0.38초 동안 멈춰 서 있고, 운동량은 93.02의 효율로 끝에서 끝으로 건너간다. 엔진들은 그 정지 구간을 아예 만들지 못했다. 정지 시간이 0이고, 정규화 운동량 전달은 0.20과 0.26이다. 1.0이 실측 수준이니 운동량의 80% 안팎이 어디론가 사라진 것이다. Genesis는 유효한 롤아웃 자체를 내놓지 못했다.
뉴턴 요람에서 갈라지는 두 지표. 정지 구간이 사라지고 운동량의 대부분이 전달되지 않는다. 눈으로 보는 데모에서는 공이 부딪히고 튀는 장면이 그럴듯하게 재생되지만, 두 관측량은 실측과 다른 세계를 가리킨다. (arXiv:2608.05948 Table 3)
3.3어느 솔버를 물려받았는지는 정확도를 보증하지 않는다
엔진 세 종은 물리 영역마다 다른 솔버를 쓴다. 이 구성이 앞의 지도에서 승자가 뒤집히는 이유의 절반쯤을 설명한다. 하나의 엔진이 하나의 방정식으로 모든 물체를 푸는 것이 아니기 때문이다. 강체는 강체대로, 천은 천대로, 부피가 있는 변형체는 또 다르게 각각의 솔버가 붙는다.
갈리는 지점은 이렇다. 직물은 표면을 유한요소로 잘게 나눠 푸는 방식과, 입자들의 위치 제약을 반복해서 맞춰 나가는 방식, 정점 단위로 변형 에너지를 낮춰 가는 방식으로 셋이 나뉜다. 부피 변형체는 격자 위의 유한요소로 풀거나 입자와 격자를 오가며 푸는 방식으로 갈린다. 계산의 뼈대가 이만큼 다르면 한 엔진의 강체 성적이 그 엔진의 직물 성적을 예고하지 못한다. 아래 표의 세 열은 사실상 서로 다른 세 개의 프로그램을 한 이름 아래 묶어 놓은 것에 가깝다.
| 엔진 (평가 버전) | 강체 | 직물 | 3차원 변형체 |
|---|---|---|---|
| Isaac Sim v6.0.0 | PhysX | Surface FEM | FEM |
| Genesis v1.12.0 | 자체 솔버 | PBD | MPM |
| Newton v1.3.0 | MuJoCo | VBD | 미보고 |
GAUGE가 평가한 시점의 솔버 구성 (arXiv:2608.05948)
업계에는 계보로 정확도를 가늠하는 관행이 있다. Genesis와 Newton이 모두 MuJoCo 계열 GPU 백엔드를 강체 코어로 채택한 것을 두고, 검증된 접촉 모델을 물려받았으니 강체는 안전하다고 읽는 식이다. 실측은 그 논증을 자동으로 받아 주지 않는다. 지속적인 회전 마찰이 지배하는 턴테이블에서 MuJoCo 백엔드를 쓰는 Newton은 20.04배로 세 엔진 중 가장 나빴고, 게임 그래픽 계보로 자주 폄하되는 PhysX 계열의 Isaac Sim이 0.17배로 압도했다. 어느 솔버를 상속했는지는 어떤 과제에서 강한지를 예측해 주지 않는다.
GAUGE는 MuJoCo 자체를 채점하지 않았다. 표에 오른 것은 MuJoCo 백엔드를 강체 코어로 쓰는 Newton이고, MuJoCo 단독 구현이 같은 과제에서 어떤 값을 낼지는 이 논문으로 알 수 없다. 왜 넣지 않았는지도 논문에 설명이 없다. 위 결과를 MuJoCo 접촉 모델 전반에 대한 판정으로 넓혀 읽으면 근거를 넘어서는 셈이다. 읽어야 할 것은 계보가 아니라 각 조합이 실제로 낸 값이라는 쪽에 가깝다.
다만 세 엔진의 나이가 같지 않다. Newton은 2025년 9월 리눅스 재단에 기여되어 공개된 프로젝트로, 이 평가 시점에 오픈소스가 된 지 1년이 되지 않았다. 성숙한 상용 엔진과 같은 잣대로 한 줄에 놓고 읽으면 불공정하다. Genesis 역시 1.0 릴리스에서 상자 충돌과 자코비안 계산의 결함을 스스로 고쳤다고 밝힌 바 있는데, 이는 오픈소스가 성숙하는 정상적인 경로다. 다만 GAUGE가 채점한 것은 그 수정 이후 버전인 v1.12.0이다.
결론은 엔진이 틀렸다는 것이 아니다. 강한 영역이 서로 다르고, 전 영역에 걸쳐 고른 엔진은 아직 없다는 것이다. 이 차이가 중요한 이유는 실무의 선택이 달라지기 때문이다. "가장 정확한 엔진을 하나 고른다"는 전략은 성립하지 않는다. 대신 내 과제의 물리가 지도의 어느 쪽에 있는지를 먼저 알아야 한다.
형태는 맞고 스케일은 틀린다
GAUGE는 같은 계측 체계를 영상 월드모델에도 한 번 대 봤다. 강체 과제 5개에 이미지-투-비디오 모델 6종을 세운 보조 트랙인데, 여기서 나온 결과 하나가 엔진 이야기와 정확히 같은 구조를 갖는다.
경사면을 미끄러지는 물체의 궤적이 등가속 운동의 꼴을 얼마나 잘 따르는지 보는 지표가 있다. 기대한 선형 관계로 충분한지, 아니면 설명되지 않는 곡률이 남는지를 잰다. 이 지표에서 가장 좋은 점수를 낸 모델은 Cosmos3-Super-I2V였다. 그런데 그 모델의 궤적에서 역산한 가속도는 0.088 m/s²였다. 같은 실험의 실측값은 2.57에서 2.67 m/s² 사이다. 운동 방정식의 형태는 통과하면서 스케일을 3% 수준으로 복원한 것이다. 연구진의 표현대로, 생성된 운동은 짧은 구간에서 등가속 궤적처럼 보이면서도 틀린 물리 스케일을 담고 있을 수 있다.
뉴턴 요람에서는 더 노골적이었다. 보고된 10개 모델 구성 가운데 6개가 유효한 시퀀스를 만들어 내지 못했고, 성공한 것 중 최고 운동량 전달도 0.76에 머물렀다. 진자 주기는 실측 1.06초에 대해 1.83초에서 17.95초 사이로 흩어졌다. 가장 가까운 값조차 실측보다 73% 길다. 물리 위반을 피하라고 지시하는 네거티브 프롬프트는 일관된 개선을 주지 않았다.
눈으로 보는 검수가 왜 무력한지를 이 숫자들이 요약한다. 형태 지표는 통과하고 스케일은 틀리는 데이터는 사람의 육안 검수도, 형태만 보는 자동 지표도 함께 빠져나간다. 생성 영상의 물리 검증을 어떻게 하는가는 앞선 리포트 생성된 영상은 물리적으로 옳은가에서 따로 다뤘다. 이 글의 축은 그 검증의 기준이 되어 온 엔진 쪽이므로, 영상 모델은 여기서 멈춘다.
라벨이 아니라 좌표계가 흔들린다
시뮬레이터가 만든 궤적 데이터셋을 놓고 기존의 품질 검사를 돌리면 대부분 통과한다. 라벨은 엔진이 직접 기록한 값이라 사람이 붙인 라벨보다 정합적이고, 시나리오를 골고루 샘플링했으니 분포도 균형 잡혀 있고, 어떤 설정으로 언제 생성했는지 계통도 완전히 추적된다. 그런데 그 데이터로 학습한 모델은 틀린 동역학을 정확하게 배운다.
오류가 라벨 층에 있지 않기 때문이다. 라벨과 데이터의 관계는 완벽하고, 그 둘이 함께 놓인 좌표계가 실제에서 벗어나 있다. 라벨 정합성 검사, 분포 균형 검사, 계통 추적은 모두 데이터 안쪽의 일관성을 보는 도구라서 설계상 이 유형을 잡지 못한다. 외부의 물리적 참조와 맞대 보는 절차가 따로 필요하다.
GAUGE가 실제로 만든 것을 검사 도구의 관점에서 분해하면 세 부품이 나온다. 물리 원천 층에 품질 검사를 걸겠다는 조직은 결국 이 세 가지를 각자의 규모에 맞게 갖춰야 한다.
부품 1
참조 실측 세트
시뮬레이션이 아니라 실제로 측정한 궤적. 불확실성을 함께 적어 두어야 참조로 쓸 수 있다. 몇 밀리미터까지 믿을 수 있는 값인지 모르면 대조 결과도 해석되지 않는다.
부품 2
과제별 관측량
무엇을 볼지가 물리마다 다르다. 미끄럼은 위치 오차로, 요람은 정지 시간과 운동량 전달로, 진자는 주기와 에너지 보존으로 본다. 하나의 만능 거리 지표로는 실패를 못 잡는다.
부품 3
재현오차 눈금
합격선을 절대 오차가 아니라 실측 자신의 반복오차 배수로 잡는다. 그래야 서로 다른 과제의 성적을 같은 언어로 말할 수 있고, 장비가 좋아져도 기준이 흔들리지 않는다.
세 부품 중 실무에서 가장 자주 빠지는 것은 세 번째다. 많은 팀이 "오차 5mm 이내"처럼 절대 기준을 세우는데, 그 기준은 과제가 바뀌면 의미가 달라지고 실험 장비의 정밀도와 뒤섞인다. 실측이 스스로를 반복할 때의 폭을 먼저 재고 그 배수로 말하면, 같은 문장으로 강체와 직물과 발포체의 성적을 비교할 수 있다. GAUGE의 진짜 기여는 16대짜리 카메라 리그가 아니라 이 눈금을 정한 방식에 있다.
데이터 품질의 정의가 한 칸 확장되는 지점이다. 지금까지 품질은 대체로 라벨과의 정합성이었다. 시뮬레이션 데이터에서는 물리적 참조와의 정합성이 그 자리에 함께 들어와야 한다. 두 축은 직교한다. 라벨 품질이 아무리 높아도 물리 정합성은 별도로 재야 하고, 그 반대도 마찬가지다.
어디까지 믿고 어디부터 재볼 것인가
서브밀리미터 정밀도의 모션캡처 리그 16대는 대부분의 팀에게 현실적인 선택지가 아니다. 그래서 이 결과에서 뽑아낼 처방은 "모두 계측 장비를 사라"가 될 수 없다. 실용적인 처방은 과제의 물리 성격으로 신뢰 구간을 미리 가르는 것이고, 그 지도는 장비 없이도 읽을 수 있다.
6.1자동화 수요가 큰 작업일수록 약한 쪽에 몰려 있다
아래는 GAUGE의 도메인별 성적을 실무 판단으로 옮긴 것이다. 왼쪽은 시뮬레이션 데이터를 상대적으로 안심하고 쓸 수 있는 영역, 오른쪽은 실측 교정을 붙이지 않으면 위험한 영역이다.
비교적 안심할 수 있는 영역
- 준정적 강체 운동, 힘이 천천히 실리는 조작
- 매끄러운 접촉과 미끄럼, 지속적인 회전
- 저주파 진동의 주기 같은 시간 구조
- 천천히 늘이거나 펴는 직물 변형
실측 교정이 필요한 영역
- 충격과 타격, 삽입처럼 충돌이 지배하는 조작
- 빠른 직물·케이블 취급, 던지고 털어내는 동작
- 소프트 그리퍼와 부피 변형체를 다루는 작업
- 롤아웃이 길어 에너지 오차가 쌓이는 시나리오
오른쪽 목록이 산업 현장에서 가치가 큰 태스크와 상당 부분 겹친다는 점이 뼈아프다. 부품 삽입, 조립, 의류 취급, 유연물 파지처럼 자동화 수요가 가장 큰 작업들이 하필 엔진이 가장 약한 물리 위에 놓여 있다. 접촉이 지배하는 조작에서 시뮬레이션 성능이 실제로 옮겨지지 않는 현상은 여러 연구에서 보고돼 왔고, 그 격차의 폭도 과제마다 크게 달랐다. GAUGE의 기여는 그 격차가 어느 물리에서 벌어지는지를 같은 눈금 위에 올려 둔 것이다.
6.2계측 장비 없이 오늘 할 수 있는 세 가지
모션캡처 리그가 없어도 시작할 수 있는 절차가 있다. 셋 다 추가 장비를 요구하지 않고, 셋 다 GAUGE가 세운 방법론의 축소판이다.
- 자기 재현오차부터 잰다. 같은 시나리오를 같은 설정으로 여러 번 돌려 결과가 얼마나 흩어지는지 먼저 본다. 눈금을 갖는 것이 대조의 첫걸음이고, 이 값은 시뮬레이터 안에서도 잴 수 있다.
- 엔진을 두 개 이상 교차 실행한다. 같은 장면을 서로 다른 솔버로 돌려 결과가 갈리는 구간을 표시해 둔다. 어느 쪽이 맞는지는 알 수 없지만, 적어도 둘 다 믿으면 안 되는 영역이 어디인지는 드러난다.
- 파라미터의 출처를 기록한다. 마찰계수 하나를 놓고도 실제로 계측한 값인지, 문헌에서 가져온 값인지, 눈대중으로 맞춘 값인지를 데이터셋 메타데이터에 남긴다. 추정치와 계측치를 분리하는 것만으로 나중에 오차의 출처를 좁힐 수 있다.
6.3이 벤치마크가 아직 말하지 않는 것
한계는 연구진이 직접 밝혀 뒀다. 벤치마크가 강체와 직물, 3차원 변형체를 덮긴 하지만 다루는 재질과 교정된 파라미터 범위는 여전히 제한적이다. 영상 모델 트랙은 2차원 이미지 궤적으로 평가할 수 있는 강체 과제에 국한되어 있어, 직물과 부피 변형체에는 그 표현이 충분하지 않다. 유체는 아예 들어 있지 않다. 평가 시점의 버전을 고정해 잰 결과라는 점, 본표에는 과제군마다 대표 재질 한 종만 올렸다는 점도 함께 감안할 조건이다.
그리고 이 표는 한 번 찍은 사진이다. 엔진들은 계속 고쳐지고 있고, 다음 버전에서 어떤 칸은 좋아질 것이다. 중요한 것은 특정 숫자가 아니라 그 숫자를 다시 잴 방법이 공개됐다는 사실이다.
페블러스가 이 결과에 주목하는 이유
페블러스가 다뤄 온 데이터 품질은 대체로 라벨과 분포, 계통 추적의 층이었다. 이 연구는 그보다 아래에 계통 오차가 있음을 보인다. 시뮬레이터 궤적을 학습 데이터로 쓰는 파이프라인에서는 얼마나 많이 생성했는가가 아니라 생성된 물리가 어느 영역에서 얼마나 어긋나는가가 새 검사 항목이 된다. 진단해야 할 축이 하나 더 생겼고, 그 축은 기존 라벨 축과 직교한다.
데이터 품질의 관점에서 가장 곤란한 사례는 앞서 본 3% 가속도다. 그런 궤적으로 학습한 모델은 틀린 동역학을 아주 정확하게 배운다. 라벨은 완벽하고 분포도 균형 잡혀 있는데 좌표계가 어긋난 데이터를 기존 도구는 통과시킨다. 그러니 물리 원천 층 검사는 기존 검사에 항목 하나를 추가하는 문제가 아니라, 검사를 거는 위치를 한 층 아래로 내리는 문제다.
고객과 파트너의 실무로 내려오면 질문은 더 구체적이다. 시뮬레이션 데이터로 부품 삽입이나 의류 취급 같은 태스크를 학습시키는 팀에게는 어디까지 믿고 어디부터 실측 교정을 붙일지가 오늘 결정해야 할 사안이다. 앞 섹션의 두 목록이 그 기준선이고, 계측 장비가 없는 조직을 위한 축소판 절차도 함께 내려간다. 자기 재현오차를 재고, 엔진을 교차 실행하고, 파라미터의 출처를 기록하는 것부터가 시작이다.
구조적으로 보면 빈자리가 하나 드러난다. 엔진 제조사는 자사 엔진을 스스로 채점할 유인이 약하고, 사용자는 계측 장비가 없으면 채점할 수 없다. 그 사이에 독립적인 실측 참조와 품질 진단이 들어설 자리가 있다. 엔진을 하나 더 만드는 일이 아니라 엔진 위에서 재는 일이다.
Editor's Note. 이 리포트는 특정 제품을 권하려는 글이 아니라, 합성 데이터의 정답지를 누가 검증하는가라는 질문을 데이터의 관점에서 한 층 더 내려가 따라간 기록이다. 다만 그 질문을 오래 붙들다 보면 자연스레 도착하는 자리가 있다. 데이터 품질 진단을 업으로 하는 쪽에서 보면, 검증되지 않은 기준선 위에 쌓인 데이터는 아무리 많아도 품질을 말할 수 없다. 페블러스가 DataClinic으로 서 있는 자리도 결국 거기다.
페블러스 데이터 커뮤니케이션팀
2026년 8월 10일
참고문헌
학술
- 1."GAUGE: A Measurement-Grounded Benchmark for Physical Fidelity in Simulation Engines and Video World Models," arXiv:2608.05948 (2026-08-06). 이 리포트의 1차 출처.
- 2."Isaac Lab: A GPU-Accelerated Simulation Framework for Multi-Modal Robot Learning," arXiv:2511.04831.
- 3."IsaacIPC: Coupling High-Fidelity Simulation and Realistic Rendering for Contact-Rich Robotic Systems," arXiv:2605.24339.
엔진 공식 자료
- 4.Linux Foundation. "Contribution of Newton by Disney Research, Google DeepMind and NVIDIA" (2025-09-29).
- 5.newton-physics/newton (GitHub) · NVIDIA Newton Physics.
- 6.Genesis 공식 사이트 · Genesis AI, "The Role of Simulation in Scalable Robotics, Genesis World 1.0, and the Path Forward".
- 7.NVIDIA. "Isaac Sim Physics Documentation".
페블러스 인접 리포트
- 8.생성된 영상은 물리적으로 옳은가 (2026-07-11) — 생성 영상의 사후 물리 검증 파이프라인.
- 9.로봇 데이터셋 지형 — 피지컬 AI 학습 데이터의 물리 증명 공백.
- 10.RoboScape — 생성 단계에서 물리 제약을 내장하는 접근.