Executive Summary

VLA(Vision-Language-Action) 모델을 이해하려면 먼저 기존 로봇 소프트웨어와 무엇이 다른지를 봐야 한다. 전통적인 로봇 시스템은 세 단계를 분리된 모듈로 처리했다. 카메라 이미지에서 물체를 인식하는 인식(Perception) 모듈, 경로를 계산하는 계획(Planning) 모듈, 관절을 움직이는 제어(Control) 모듈이 각각 독립적으로 개발되고 명시적 규칙에 의존했다. VLA는 이 세 단계를 하나의 신경망 end-to-end로 통합해, 자연어 명령으로 로봇을 직접 제어하게 만든다.

VLA의 세 가지 입출력

• V Vision — 카메라 이미지로 주변 환경 인식. "접시가 왼쪽 선반 위에 있다"
• L Language — 자연어 지시를 이해. "접시를 오른쪽 선반으로 옮겨"
• A Action — 로봇 관절 토크/위치 제어 신호 생성. "팔꿈치 45도, 손목 20도..."

VLA vs 월드 모델 — 개념 구분

VLA와 자주 혼동되는 개념이 월드 모델(World Model)이다. 둘은 목적이 다르다. VLA는 관측에서 행동으로 직접 매핑하는 모델이고, 월드 모델은 미래 상태를 예측하는 모델이다. 그런데 2025년 현재, 이 경계가 흐려지고 있다. NVIDIA의 Cosmos 월드 파운데이션 모델이 GR00T N1.7의 VLM 백본으로 흡수됐기 때문이다. 이 분기점의 의미는 섹션 7에서 자세히 다룬다.

왜 지금인가

VLA가 2024-2025년에 급부상한 데는 세 가지 조건이 동시에 충족됐기 때문이다. 첫째, 인터넷 스케일 VLM(Vision-Language Model)의 사전학습 능력이 충분히 강해져 언어와 비전을 함께 처리하는 기반이 만들어졌다. 둘째, 텔레오퍼레이션(원격 조종)과 합성 데이터 생성 기술의 발전으로 로봇 데이터 수집 비용이 낮아졌다. 셋째, Figure, 1X, Unitree, Apptronik 등 인간형 로봇 하드웨어가 급격히 확산되면서 범용 정책에 대한 수요가 폭발했다.

NVIDIA의 Isaac GR00T 시리즈는 2025년 3월 N1 최초 공개 이후 N1.5, N1.6을 거쳐 N1.7에 이르렀다. 핵심 가설은 일관되다. "사람이 복잡한 상황에서는 천천히 생각하고, 익숙한 동작은 반사적으로 하듯 — 로봇도 그래야 한다." 이 직관이 Dual-System(Action Cascade) 아키텍처로 구현됐다.

버전 계보

Action Cascade — 뇌를 둘로 나눈 구조

GR00T N1.7의 핵심은 두 시스템의 분리다. System 2(느린 사고)가 전략을 짜면 System 1(빠른 반사)이 몸을 움직인다. 두 시스템 사이의 연결은 MLP 커넥터가 담당하며, 이 커넥터의 품질이 전체 성능을 좌우한다.

[입력: 카메라 이미지 + 자연어 명령]
        ↓
┌─────────────────────────────────────┐
│  System 2: 느린 사고 (VLM)         │
│  Cosmos-Reason2-2B (Qwen3-VL 기반) │
│  네이티브 종횡비, 패딩 없음         │
│  → "접시를 어디에 놓을지" 계획      │
└──────────────┬──────────────────────┘
               ↓ MLP 커넥터 (계획 토큰)
┌─────────────────────────────────────┐
│  System 1: 빠른 반사 (DiT)         │
│  Diffusion Transformer              │
│  Flow Matching 학습                 │
│  → "손목을 몇 도 꺾을지" 실시간 제어│
└──────────────┬──────────────────────┘
               ↓
[출력: 연속 관절 위치/토크 제어 신호]

EgoScale — 인간의 눈으로 보는 학습 데이터

GR00T N1.7의 가장 독창적인 기여는 EgoScale이다. 로봇 데이터 대신 인간이 1인칭(에고센트릭) 시점으로 촬영한 영상으로 학습한다. 가정에서 요리하고, 공장에서 부품을 조립하고, 병원에서 처치하는 인간의 손 동작이 모두 학습 데이터가 된다.

• • 20,854시간의 인간 1인칭 영상
• • 20+ 작업 카테고리 — 제조, 소매, 의료, 가정 등
• • 조작 스케일링 법칙 최초 발견 — 1,000→20,000시간 데이터 증가 시 평균 작업 완수율 2배 이상 향상
• • Isaac Lab/Isaac Sim으로 무한한 합성 데이터를 병행 생성해 데이터 갭 보완

Google DeepMind는 2025년 3월 Gemini 2.0 기반의 Gemini Robotics를 공개했다. NVIDIA가 뇌를 두 개로 쪼갰다면, Google은 하나의 대형 모델 안에서 "생각"과 "행동"을 순서대로 처리하게 만들었다. Gemini 1.5 버전에 이르러 가장 중요한 두 가지 혁신이 더해졌다. 행동 전에 자연어로 추론하는 Think-then-Act와, 여러 로봇 플랫폼의 데이터를 하나로 통합하는 Motion Transfer다.

두 가지 변형: Robotics vs Robotics-ER

아키텍처 — 언어가 먼저, 행동이 나중

[입력: 카메라 이미지 + 자연어 명령]
        ↓
┌─────────────────────────────────────┐
│  Gemini 2.0 멀티모달 모델          │
│  비전 인코더 + 언어 인코더          │
│  → 내부 추론 체인 생성 (1.5 신기능) │
│    "먼저 접시 위치를 확인하고,       │
│     그다음 팔을 뻗어야 한다..."     │
└──────────────┬──────────────────────┘
               ↓ 행동 토큰 + 임베딩
┌─────────────────────────────────────┐
│  Motion Transfer (MT) 레이어        │
│  이종 로봇 플랫폼 → 통합 표현 공간  │
│  ALOHA / Bi-arm Franka / Apollo 등  │
└──────────────┬──────────────────────┘
               ↓
[출력: 플랫폼별 관절 제어 명령]

Motion Transfer — 한 모델, 여러 로봇

로봇 세계의 가장 큰 문제 중 하나는 로봇마다 몸의 구조가 다르다는 것이다. ALOHA 양팔 로봇에서 학습한 정책을 Franka 로봇에 그대로 쓸 수 없다. 팔의 길이, 관절 수, 자유도(DOF)가 다르기 때문이다.

Motion Transfer는 이 문제를 정면으로 해결한다. 여러 로봇의 움직임 데이터를 하나의 공통 물리 표현 공간으로 변환해, 단 하나의 GR 1.5 체크포인트가 ALOHA, Bi-arm Franka, Apollo 휴머노이드를 모두 제어할 수 있게 한다.

Physical Intelligence(이하 PI)는 실리콘밸리의 스타트업이지만, 창업진의 이력이 남다르다. Google Brain, DeepMind, Stanford, UC Berkeley 출신의 로봇공학자들이 모였다. 이들의 기술적 베팅은 NVIDIA나 Google과 결이 다르다. 특정 하드웨어 생태계에 묶이지 않고, "행동을 확산(diffusion)으로 생성"하는 방식으로 정밀 조작의 한계를 넘겠다는 것이다.

버전 계보

• π0 2024.10 — VLA Flow 모델 최초 공개. PaliGemma 3B + Flow Matching. 정밀 조작 특화.
• π0-FAST 더 빠른 추론 속도를 위한 변형. 실시간 제어에 최적화.
• π0.5 현재 2025 — 오픈 월드 일반화 강화. openpi 오픈소스 공개. DROID 데이터셋 학습 파이프라인 제공.

아키텍처 — PaliGemma 위에 확산을 올리다

[입력: 카메라 이미지 + 자연어 명령]
        ↓
┌─────────────────────────────────────┐
│  PaliGemma 3B (VLM 백본)           │
│  인터넷 스케일 이미지-텍스트 사전학습│
│  시각 씬 이해 + 언어 의미 파악      │
│  임베딩이 언어 토큰과 정렬됨        │
└──────────────┬──────────────────────┘
               ↓ 멀티모달 임베딩
┌─────────────────────────────────────┐
│  Flow Matching Head (확산 기반)     │
│  노이즈 → 목표 행동까지의 경로 학습 │
│  연속적·고주파 행동 시퀀스 생성     │
└──────────────┬──────────────────────┘
               ↓
[출력: 연속 관절 제어 신호 (고주파)]

Flow Matching — 왜 확산인가

전통적인 확산 모델(DDPM)은 노이즈에서 목표까지 수천 스텝을 거쳐 데이터를 생성한다. Flow Matching은 이 과정을 단순화했다. 노이즈에서 목표 데이터까지의 "흐름 경로"를 더 직접적으로 학습해, 적은 스텝으로도 고품질 연속 행동을 생성할 수 있다.

이것이 중요한 이유는 로봇 조작의 특성 때문이다. "접시를 집어서 선반에 올리는" 작업은 수십 개의 연속적인 고주파 동작이 필요하다. 이산적(discrete) 토큰으로 행동을 표현하는 모델은 이런 부드러운 연속 동작을 표현하는 데 한계가 있다. Flow Matching은 연속 공간에서 행동 분포를 직접 학습해 정밀 조작에서 강점을 보인다.

주력 작업과 실제 성능

PI가 데모로 선택한 작업들은 의미심장하다. 세탁물 접기, 식기세척기 정리, 테이블 세팅 — 모두 불규칙한 형태와 섬세한 힘 조절이 필요한 정밀 조작 작업들이다. GR00T의 "휴머노이드 전신 제어"나 Gemini의 "230개 다양한 작업"과는 포지셔닝이 다르다.

제로샷 평가(파인튜닝 없이 바로 테스트)에서 π0.5는 평균 42.3% 작업 진행률을 기록했다. 숫자만 보면 낮아 보이지만, 이는 이전 연구 대비 유의미한 향상이다. 달리 말하면 아직 6할은 실패한다는 것이기도 하다 — 이 솔직함이 PI 연구 방식의 특징이다.

세 모델을 동일한 잣대로 나란히 놓으면 어떤 그림이 나올까. 아래 표는 아키텍처, 데이터, 생태계, 오픈소스 여부까지 13개 차원에서 직접 비교한 결과다. 어떤 모델이 "더 낫다"가 아니라, 각 팀이 어떤 문제를 어떻게 풀었는지를 보는 렌즈로 쓰길 바란다.

세 모델의 아키텍처 차이만큼이나 중요한 것이 데이터 전략이다. "좋은 로봇 정책을 만들려면 어떤 데이터로 학습해야 하는가"라는 질문에 세 팀은 완전히 다른 대답을 내놨다. 이 선택은 단순한 기술적 결정이 아니다. 어떤 데이터가 로봇 행동의 본질을 가장 잘 담고 있는지에 대한 세계관의 차이다.

VLA 아키텍처를 논할 때 빠질 수 없는 개념이 월드 모델(World Model)이다. 로봇이 행동하기 전에 "미래의 결과를 먼저 상상"해야 하는가, 아니면 "지금 관측에서 바로 최선의 행동을 예측"해야 하는가 — 이 철학적 질문이 세 팀의 기술 선택에 깊이 영향을 미쳤다.

NVIDIA Cosmos — 월드 모델을 VLA 안으로

NVIDIA는 이 질문에 가장 적극적으로 답했다. Cosmos는 NVIDIA의 월드 파운데이션 모델 플랫폼이다. Cosmos-Predict는 미래 비디오를 예측하고, Cosmos-Reason은 물리 상식을 기반으로 구현된 의사결정을 생성한다.

GR00T N1.5는 플로우 매칭 목적함수와 월드 모델링 목적함수를 공동 학습했다. N1.7은 아예 Cosmos-Reason 모델을 VLM 백본으로 채택했다. NVIDIA의 메시지는 명확하다. "월드 모델이 VLA 안으로 들어와야 한다."

세 팀의 서로 다른 가설