📚 Coursework

GR00T & NVIDIA Physical AI 2026

2026년 NVIDIA는 navigation과 manipulation을 GR00T N1.6이라는 하나의 reasoning VLA로 통합하고 있다. 이 코스는 'GR00T가 데이터로 두 분야를 다 먹는가, 아니면 구조적 분리가 여전히 필요한가'라는 긴장을 축으로, COMPASS(데이터 엔진으로 재배치)·Cosmos(뇌)·SONIC(전신 제어)·Isaac 합성데이터 공장·geometric localization의 경계선까지 원문 인용으로 해부한다. COMPASS cross-embodiment 코스의 2026 속편, 연구자·면접 대비 advanced 10챕터.

고급 10 chapters Python

커리큘럼

10 chapters

🧭The Integration Question

통합의 질문 — 왜 navigation과 manipulation이 하나로 합쳐지는가

2025년엔 COMPASS(이동)와 HOVER(전신제어)가 따로 놀았지만 2026년 GR00T N1.6은 둘을 하나의 VLA로 통합한다 — '데이터 스케일링 vs 구조적 분리'라는 좌표계로 이 변화를 읽는다.

두 패러다임 (데이터 스케일링 vs 구조적 분리)R2D2 시리즈의 진화 2025-2026loco-manipulation이라는 통합 과제

🔁COMPASS as a Data Engine

데이터 엔진이 된 COMPASS — 죽지 않고 재배치되다

COMPASS의 3단계(IL + Residual RL + Policy Distillation)와 X-Mobility world model을 복습하고, 이 mobility 특화 정책이 2026년 GR00T의 point-to-point navigation finetune 데이터원으로 재배치된 경로를 추적한다.

COMPASS 3단계 파이프라인 복습X-Mobility world model 백본Residual RL과 covariate shift

🗣️VLA Foundations

Vision-Language-Action 모델의 기초

RT-2 to OpenVLA to π0로 이어지는 VLA 계보와 action tokenization, unified policy representation을 정리하고, 왜 VLA가 로봇 generalist의 기본 문법이 됐는지 이해한다.

VLA란 무엇인가action tokenization과 discretizationRT-2 / OpenVLA / π0 계보

🏛️Inside GR00T N1.6

GR00T N1.6 아키텍처 해부 — flat이 아니라 계층

GR00T N1.6은 end-to-end 한 덩어리가 아니라 Cosmos Reason(뇌) to VLA(정책) to whole-body RL(모터)의 3층 구조다 — 'reasoning VLA'가 실제로 무엇을 뜻하는지 원문 인용으로 해부한다.

reasoning VLA의 정의3층 구조 (뇌-정책-모터)Cosmos Reason의 instruction decomposition

🌌World Models as the Brain: Cosmos

뇌가 된 월드 모델 — Cosmos WFM와 Cosmos Reason

Cosmos World Foundation Model과 Cosmos Reason이 어떻게 planning·reasoning substrate이자 동시에 synthetic data 생성기(Cosmos Transfer)로 이중 역할을 하는지 파헤친다.

World Foundation Model이란Cosmos Reason의 추론·계획 역할Cosmos Transfer 합성데이터 생성

🦿Whole-Body Control & SONIC

전신 제어와 SONIC — HOVER의 후계자

HOVER에서 SONIC으로 이어지는 whole-body behavior foundation model 계보를 따라가며, motion tracking을 스케일러블 학습과제로 삼아 하나의 통합 정책이 locomotion·manipulation·multi-contact를 모두 내는 원리를 배운다.

HOVER to SONIC 계보behavior foundation modelmotion tracking as scalable task

🏭The Synthetic Data Factory

합성데이터 공장 — Isaac Sim, Isaac Lab, Cosmos Transfer

GR00T의 스케일은 인터넷 긁기가 아니라 GPU가 찍어낸 synthetic data다 — Isaac Sim/Lab의 대규모 병렬 시뮬, domain randomization, sim-to-real, autolabel/retarget 파이프라인을 해부한다.

Isaac Sim과 Isaac Labdomain randomizationsim-to-real transfer

🗺️Navigation: What Got Absorbed, What Didn't

navigation, 흡수된 것과 아닌 것 — 통합의 경계선

GR00T는 고수준 navigation 의사결정은 흡수했지만 metric localization은 여전히 geometric 스택(cuVSLAM·nvblox·Nav2)에 의존한다 — 학습이 삼킨 층과 엔지니어링이 지탱하는 층의 경계선을 정확히 긋는다.

고수준 vs 저수준 navigationmetric localization과 geometric SLAMIsaac ROS / Perceptor 상용 스택

⚖️The Counter-Argument

반론 — VLA와 월드 모델만으론 부족하다

2026년 'Robots Need More than VLA and World Models'는 로봇 학습을 정책 스케일링 문제로 보는 통념을 반박한다 — 진짜 병목은 비정형 데이터를 grounded supervision으로 바꾸는 네 인터페이스의 부재라는 주장을 데이터 스케일링 극점(NavFoM)과 구조 극점(COMPASS)에 대비한다.

정책 스케일링 통념 비판네 인터페이스 (data·embodiment·world-model·reward)NavFoM (데이터 극점) 재조명

🚀Evaluation, Deployment & Open Frontiers

평가·배포·열린 프런티어

sim-to-real gap 측정, Jetson Thor 온보드 배포, cross-embodiment 벤치마크, unseen embodiment zero-shot 같은 2026 프런티어를 정리하고, 연구자·빅테크 면접 관점에서 이 분야를 어떻게 논해야 하는지 종합한다.

sim-to-real 평가와 벤치마크Jetson Thor 온보드 배포unseen embodiment zero-shot