Executive Summary

핵심 수치 넷으로 압축하면 이렇다. 재구성 학습 시간은 크게 줄었고, 왜곡 카메라를 다루는 렌더 속도는 실시간에 이르렀으며, 완제품 재구성 데이터셋은 이미 상당한 규모로 공개돼 있다.

NuRec을 이해하려면 그 뿌리인 3D 가우시안 스플래팅(3DGS)부터 짚어야 한다. 3DGS는 하나의 공간을 수백만 개의 작은 타원체, 곧 3D 가우시안으로 채우는 방식이다. 각 입자는 위치와 크기, 방향, 색, 불투명도를 파라미터로 갖는다. 여러 각도에서 찍은 사진을 놓고, 이 입자들을 어떤 화면 위에 투영해 렌더한 결과가 실제 사진과 어긋난 만큼을 다시 입자 파라미터로 되돌려 조금씩 고친다. 이 과정을 미분 가능 렌더링이라 부른다. 사진과의 픽셀 차이가 곧 학습 신호가 되는 구조다.

이 방식의 성격은 두 국면으로 갈린다. 장면을 만드는 재구성 단계는 무겁다. 수백만 개 입자를 반복 최적화해야 하기 때문이다. 하지만 일단 완성된 장면을 화면에 그리는 렌더 단계는 가볍다. 입자들을 화면에 뿌리는 래스터화라서 그래픽카드가 잘하는 연산이고, 1080p에서 초당 30프레임을 넘긴다. "훈련은 느리고 재생은 빠르다"는 이 비대칭이 3DGS의 핵심 성격이다.

앞세대인 NeRF와의 차이가 여기서 갈렸다. NeRF는 장면을 하나의 신경망으로 담아, 어떤 시점의 픽셀을 그릴 때마다 그 신경망을 다시 조회해야 했다. 렌더가 프레임당 초 단위로 느렸고, 시점을 자유롭게 돌려보기가 답답했다. 3DGS는 학습도 수십 배 빠르다. 대표 벤치마크인 Mip-NeRF360에서 원 논문 기준 약 40분이면 재구성이 끝나는데, 같은 조건의 NeRF 계열 베이스라인은 최대 48시간이 걸렸다. 이 속도가 3DGS를 연구실 밖으로 꺼냈고, 그 위에 산업용 렌더러와 자산 표준을 얹은 것이 다음 장에서 볼 NuRec이다.

NuRec은 3DGS 그 자체가 아니다. 연구용 3DGS 위에 엔비디아가 두 가지를 보태 만든 스택이다. 하나는 렌더러 통합이고, 다른 하나는 자산화다. 이 둘이 "논문 속 기법"과 "산업 파이프라인"을 가르는 경계다.

2.1렌더러 통합: 입자 구름과 메시를 한 화면에

첫째 축은 RTX 렌더러가 가우시안 입자 구름과 일반 3D 자산(로봇, 물체 메시)을 한 화면에서 합성하는 능력이다. 단순히 겹쳐 그리는 게 아니라 깊이 가림까지 맞춘다. 재구성한 창고 바닥 위에 로봇 팔 메시를 세우면, 팔 뒤로 돌아간 선반이 자연스럽게 가려진다. 이 합성을 떠받치는 것이 두 편의 연구다.

3DGRT는 가우시안을 레이트레이싱으로 다룬다. 광선을 쏘아 입자와 부딪히는 방식이라 반사·굴절 같은 2차 광선과 어안·롤링셔터 같은 왜곡 카메라를 표현할 수 있다. 대신 느리다. 3DGUT는 언센티드 변환(unscented transform)이라는 기법으로 같은 왜곡 카메라와 롤링셔터를 지원하면서도 3DGS 수준의 래스터화 속도를 유지한다. 3DGUT 논문은 어안 벤치마크에서 FisheyeGS 대비 3분의 1 수준의 입자(0.38M 대 1.07M)로 오히려 더 높은 화질(약 +0.96dB PSNR)을 보고한다. 스마트폰, 차량, 로봇 센서가 만드는 실제 카메라 왜곡을 다뤄야 하는 리얼투심에서 이 조합이 결정적이다. 여기에 PPISP가 붙어, 실사 멀티카메라 촬영에서 생기는 노출·화이트밸런스·비네팅 편차를 보정해 재구성 장면의 광도를 촬영 당시로 되돌린다.

세 갈래가 어떻게 역할을 나누는지는 표로 보면 분명하다. 속도와 카메라 표현력은 맞바꾸는 관계였고, 3DGUT는 그 둘을 함께 잡으려는 설계다.

2.2자산화: 현장이 파일 하나가 된다

둘째 축은 자산화다. 재구성 결과를 OpenUSD 파일 하나(.usdz)로 표준화하는 것이다. 이 파일 안에는 가우시안 재구성뿐 아니라 충돌 감지용 메시, 로봇 배치를 위한 점유 지도, 촬영 카메라의 궤적이 한 벌로 담긴다. 자율주행용 자산에는 신경 재구성 볼륨과 OpenDRIVE 맵, 객체 추적 데이터까지 들어간다.

자산화가 왜 중요한가. usdz가 되는 순간 "실제 현장"이 파일로 유통되고 참조로 조립되기 때문이다. 촬영한 창고 하나를 자산으로 등록해 두면, 여러 시뮬레이션이 그 자산을 참조로 불러다 각자의 로봇과 물체를 얹는다. OpenUSD가 이미 산업 표준으로 자리 잡은 덕에, 재구성 결과가 기존 Isaac Sim·Omniverse 워크플로에 그대로 흘러든다. NuRec의 진짜 기여는 렌더 화질이 아니라, 촬영본을 이 표준 자산 형식에 실어 보낸다는 데 있다.

기술 조각을 순서대로 이으면 하나의 파이프라인이 된다. 실제 현장을 몇 분 촬영하는 데서 시작해, 로봇 학습 데이터가 나오는 데서 끝난다. 각 단계가 남기는 산출물이 다음 단계의 입력이 되는 구조다.

• ① 촬영 — 공장·창고·매장·도로를 스마트폰이나 차량 카메라로 몇 분 찍는다. 입력은 영상과 사진, 그리고 카메라 궤적이다.
• ② 재구성 — 3DGUT로 가우시안 장면을 최적화한다. PPISP가 촬영 광도를 보정한다. 출력은 입자 구름과 보조 메시다.
• ③ 자산화 — 재구성 결과를 usdz 하나로 묶는다. 가우시안 + 충돌 메시 + 점유 지도 + 촬영 궤적이 한 벌.
• ④ 무대 배치 — usdz를 Isaac Sim·Omniverse에 참조로 불러와 시뮬레이션 무대로 세운다.
• ⑤ 디지털 트윈 + 물리 시뮬 — 실사 배경 위에 로봇 디지털 트윈을 놓고 물리 엔진을 돌린다. 접촉·충돌·힘이 정답 라벨과 함께 계산된다.
• ⑥ 학습 데이터 생성 — 실사 배경과 시뮬레이터 물리가 결합된 장면에서 라벨 붙은 학습 데이터를 뽑는다.

이 파이프라인의 완제품은 이미 공개돼 있다. 엔비디아는 재구성이 끝난 usdz 자산을 HuggingFace에 데이터셋으로 배포한다. 로봇용과 자율주행용 두 갈래가 있고, 규모와 라이선스가 다르다. 자율주행 쪽 한 장면이 어떤 것인지 감을 잡자면, 대략 20초 분량의 주행 구간을 앞·측·후방 여섯 대의 카메라 뷰로 재구성한 것이 장면 하나다. 그런 장면이 아래 표의 수천 개 단위로 쌓여 있다.

자율주행 쪽 채택이 특히 앞선다. 오픈소스 AV 시뮬레이터 CARLA는 0.9.16 릴리스에서 NuRec 통합(25.07)을 반영했다. 15만 명 규모의 개발자 생태계에 재구성 자산을 바로 얹을 수 있게 된 것이다. 주행 로그를 재구성해 실제 도로 장면을 리플레이하거나 변형하는 워크플로가 AV 검증·데이터 생성의 실무 도구로 들어가고 있다. Mcity, dSPACE, Foretellix 같은 검증 인프라 업체들도 도입을 발표했다.

리얼투심이 매력적인 만큼, 재구성 자산에는 뚜렷한 한계가 셋 있다. 흥미로운 점은 이 한계들이 그대로 품질 관리의 축이 된다는 것이다. 무엇이 약한지 알면 무엇을 재야 하는지도 알게 된다.

4.1입자 구름은 겉모습만 담는다

가우시안 입자는 색과 불투명도를 가진 시각 표현일 뿐, 단단함이나 형태를 물리적으로 갖지 않는다. 재구성한 상자에 로봇 팔을 대도 팔은 그냥 통과한다. 물리 상호작용을 시키려면 충돌 지오메트리를 따로 부여해야 한다. usdz에 충돌 메시와 점유 지도를 동봉하는 이유가 바로 이것이다. 겉모습(가우시안)과 물리(메시)를 나눠 담아, 렌더는 실사처럼 하고 시뮬은 메시로 돌린다.

4.2조명이 촬영 시점으로 구워져 있다

재구성은 촬영 당시의 빛을 그대로 입자 색에 새긴다. 그래서 흐린 오후에 찍은 창고를 한낮 햇살 아래로 바꾸거나, 조명을 새로 켜고 끄는 재조명이 어렵다. 장면의 시간대나 날씨를 바꾸는 변형은 재구성 자체의 몫이 아니라 월드모델 계열 기술의 몫으로 넘어간다. NuRec은 "찍힌 그대로의 현장"을 충실히 담는 데 강하고, "다른 조건의 현장"을 상상하는 데는 약하다.

4.3품질이 촬영 커버리지에 종속된다

한 번도 카메라에 담기지 않은 각도는 재구성에서 구멍이나 떠다니는 잔여 입자(플로터)로 나타난다. 야간, 안개, 고속 주행, 보행자의 다리처럼 관측이 성기거나 움직임이 빠른 부분이 알려진 저품질 케이스다. 엔비디아가 아티팩트를 인페인팅으로 메우는 NuRec Fixer(Difix3D+ 기반)를 별도로 두었다는 사실 자체가, 재구성엔 구멍이 난다는 방증이다. 결국 재구성의 신뢰도는 얼마나 골고루 찍었는가에 크게 좌우된다.

NuRec을 제자리에 놓으려면 이웃 기술과의 관계를 봐야 한다. 물리적으로 일관된 합성데이터를 만드는 그림은 서로 방향이 다른 네 조각으로 이뤄진다. 그중 리얼투심과 심투리얼은 정확히 반대 방향을 향한다.

• 물리 시뮬레이터 — 접촉·충돌·힘을 정답 라벨과 함께 계산하는 정답 장부. 학습 데이터의 라벨이 여기서 나온다.
• 심투리얼(sim-to-real) — 월드모델(코스모스 트랜스퍼 등)이 합성으로 만든 장면을 실사풍으로 변형한다. 방향은 시뮬레이터에서 현실로.
• 리얼투심(real-to-sim) — NuRec이 실촬영을 시뮬레이터 자산으로 되돌린다. 방향은 현실에서 시뮬레이터로. 심투리얼과 정반대다.
• 품질 증명 — 위 셋이 만든 데이터가 학습에 쓸 만한지 정량으로 검증하고 게이팅한다. 나머지 조각이 물리적으로 일관되도록 묶는 접착제.

아래 도식은 이 네 조각이 하나의 파이프라인으로 맞물리는 모습이다. NuRec(리얼투심)은 이 그림에서 오랫동안 비어 있던 "현실에서 시뮬레이터로" 조각을 채운다.

이 지도는 페블러스가 이전에 다룬 GraphicsForPhysicalAI 허브의 논지와 이어진다. "미분 가능 렌더링은 새로운 데이터 인프라"라는 주장이 그것이다. NuRec은 그 주장의 산업 실물 증거이자, 허브가 아직 채우지 못했던 리얼투심 축을 정확히 메우는 조각이다.

지금까지의 이야기를 데이터의 눈으로 다시 보면 하나의 전환이 드러난다. 3DGS 시대의 질문은 "렌더가 실시간인가"였다. 답은 이미 나왔다. 그렇다. 그런데 재구성 결과가 usdz라는 유통 가능한 자산이 되는 순간, 질문이 바뀐다. "이 자산이 학습에 쓸 만한가"로. 병목이 렌더 속도에서 자산 품질로 옮겨간 것이다.

자산 품질은 막연한 말이 아니다. 앞 장에서 본 세 한계가 그대로 세 개의 진단 축으로 번역된다.

• 재구성 충실도 — 재구성 장면이 실제와 얼마나 가까운가. PSNR·SSIM·LPIPS 같은 정량 지표로 잰다. 표준 벤치마크 위에서 수치로 비교할 수 있는 축이다.
• 촬영 커버리지 — 어떤 각도가 관측되지 않았는가. 미관측 각도는 홀과 플로터로 나타나므로, 커버리지가 곧 재구성이 신뢰할 만한 영역의 경계를 정한다.
• 합성 정합 — 재구성 배경 위에 얹은 로봇·물체 메시가 스케일과 깊이에서 배경과 맞는가. 어긋나면 물리 시뮬과 학습 라벨이 함께 틀어진다.

중요한 것은 이 세 축이 모두 진단 가능하고 게이팅 가능하다는 점이다. 저품질 케이스(야간·안개·고속 주행·보행자 다리)에서 생긴 결함은 그대로 학습 자산의 결함으로 전파되고, 그 자산으로 훈련한 모델의 성능 리스크가 된다. 그래서 "몇 분 촬영으로 시뮬 무대를 만든다"는 워크플로를 채택하는 팀에게, 그 무대의 품질을 무엇으로 보증할지가 곧 실무 과제가 된다. 재구성이 자산이 되는 시대의 데이터 품질은, 정답을 라벨링하는 문제가 아니라 재구성물 자체를 검증하고 통과·반려하는 문제로 이동한다.

페블러스가 이 기술에 주목하는 이유

NuRec은 페블러스가 그려 온 Physical AI 데이터 지도의 빈 칸 하나를 채운다. Isaac Sim(합성데이터 생성), OpenUSD(자산 표준), 월드모델(심투리얼)을 차례로 다뤘지만, "실촬영을 3D 자산으로 되돌리는" 리얼투심 조각은 비어 있었다. NuRec이 그 자리를 메우면서, 물리 시뮬레이터·심투리얼·리얼투심·품질 증명으로 이어지는 네 조각 그림이 물리적으로 맞물린다.

데이터 품질의 관점에서 이 기술이 던지는 질문은 분명하다. 재구성이 유통 가능한 자산이 되는 순간, 검증의 무게중심이 "렌더가 실시간인가"에서 "이 자산이 학습에 쓸 만한가"로 이동한다. 재구성 충실도, 촬영 커버리지, 합성 정합은 전부 진단하고 게이팅할 수 있는 품질 축이다. 이것은 페블러스가 데이터클리닉과 AI-Ready Data에서 써 온 언어와 정확히 겹친다. 로봇·자율주행 팀이 "몇 분 촬영으로 시뮬 무대를 만든다"는 워크플로를 채택할수록, 그 무대의 품질을 어떻게 보증할지가 곧 학습 성능 리스크가 된다.

더 넓게 보면, NuRec은 "미분 가능 렌더링은 새로운 데이터 인프라"라는 명제의 산업 실물 증거다. 촬영본이 표준 자산 형식에 실려 유통되기 시작했고, 그 인프라 위에서 자산 품질을 증명하는 일이 다음 과제로 떠오른다.

참고문헌

학술

• 1.Kerbl, B., Kopanas, G., Leimkühler, T., Drettakis, G. (2023). 3D Gaussian Splatting for Real-Time Radiance Field Rendering. ACM ToG 42(4), SIGGRAPH 2023. arXiv:2308.04079. 프로젝트 페이지
• 2.Moenne-Loccoz, N., et al. (NVIDIA Toronto AI Lab). 3D Gaussian Ray Tracing (3DGRT). arXiv:2407.07090. 프로젝트 페이지
• 3.Wu, Q., et al. (NVIDIA). 3DGUT: Enabling Distorted Cameras and Secondary Rays in Gaussian Splatting. CVPR 2025. arXiv:2412.12507. 프로젝트 페이지

플랫폼·데이터

• 4.NVIDIA. Isaac Sim Documentation (NuRec). docs.isaacsim.omniverse.nvidia.com
• 5.HuggingFace. nvidia/PhysicalAI-Robotics-NuRec (9개 환경, 약 63GB, CC-BY-4.0). 데이터셋 카드
• 6.HuggingFace. nvidia/PhysicalAI-Autonomous-Vehicles-NuRec (1,500+ 장면, 약 2.9TB). 데이터셋 카드
• 7.CARLA. Release 0.9.16 / NVIDIA NuRec integration. carla.org

페블러스 인접

• 8.페블러스. GraphicsForPhysicalAI (허브). blog.pebblous.ai/project/GraphicsForPhysicalAI/ko/

외부 링크와 수치는 게재 전 원문 렌더 확인을 거쳤다. 데이터셋 규모·다운로드 수치는 버전 26.04 시점 기준이며, 데이터셋이 확장 중이라 최신치와 차이가 있을 수 있다.