direcf
›
COMPASS & Cross-Embodiment Mobility
📚 Coursework
COMPASS & Cross-Embodiment Mobility
다양한 형태(wheeled·quadruped·humanoid)의 로봇을 하나의 mobility 정책으로 움직이는 cross-embodiment 문제를, NVIDIA COMPASS(arXiv:2502.16372)의 3단계 파이프라인(IL + Residual RL + Policy Distillation)을 뼈대로 완전 정복한다. World Model 기반 navigation, embodiment conditioning, generative policy, Sim-to-Real, 2026년 Navigation Foundation Model까지 — 데이터 스케일링 vs 구조적 분리라는 두 패러다임을 insight 중심으로 다루는 연구자용 10챕터.
고급
10 chapters
Python
커리큘럼
CH
01
01
🧭The Cross-Embodiment Mobility Problem
크로스-임바디먼트 모빌리티 문제
왜 하나의 정책으로 바퀴·4족·휴머노이드를 모두 움직이는 게 어려운지, 그리고 이 분야가 '데이터 스케일링'과 '구조적 분리'라는 두 패러다임으로 갈라지는지 파악한다.
CH
02
02
🌍World Models for Navigation — The X-Mobility Backbone
내비게이션을 위한 월드 모델 — X-Mobility 백본
COMPASS의 뼈대인 X-Mobility의 autoregressive world model(RSSM·DINOv2·GRU)이 어떻게 환경 dynamics를 latent state로 압축해 강한 prior를 제공하는지 해부한다.
CH
03
03
🎓Imitation Learning & Covariate Shift
모방 학습과 코버리엇 시프트
teacher policy로 mobility prior를 학습하는 IL 단계와, IL만으로는 못 푸는 covariate shift 문제 — 그리고 왜 residual RL이 필요해지는지를 다룬다.
CH
04
04
➕Residual RL — Fine-Tuning Without Forgetting
레지듀얼 RL — 잊지 않고 미세조정하기
a = a_base + a_res 구조로 frozen base policy를 embodiment별로 보정하는 residual RL — 왜 이게 sparse-reward navigation에서 from-scratch RL보다 압도적으로 빠른지 파헤친다.
CH
05
05
🔀Policy Distillation & Generalist Policies
정책 증류와 제너럴리스트 정책
여러 embodiment specialist를 embodiment embedding으로 조건화해 하나의 generalist로 합치는 KL-distillation — 그리고 여기서 발생하는 'averaging' 문제의 씨앗을 본다.
CH
06
06
🏗️COMPASS Architecture — Putting It All Together
COMPASS 아키텍처 — 전체를 하나로
IL → Residual RL → Distillation 3단계가 Isaac Sim/Lab 위에서 어떻게 하나의 파이프라인으로 결합되는지, 그리고 벤치마크 결과(SR 5~40x↑)를 정확히 해석한다.
CH
07
07
🦿Embodiment Conditioning & Morphology
임바디먼트 조건화와 모폴로지
one-hot을 넘어 — learned embedding, measurable collision-envelope(AgniNav), morphology-aware transformer까지. unseen embodiment로의 zero-shot이라는 최전선 문제를 다룬다.
CH
08
08
🌊Generative Policies & the Averaging Problem
생성형 정책과 평균화 문제
deterministic distillation이 '좌/우 회전'을 평균내 버리는 disastrous averaging — CE-Nav의 normalizing flow(VelFlow)와 diffusion policy가 어떻게 multi-modal action 분포를 살리는지 본다.
CH
09
09
🌉Sim-to-Real & the NVIDIA Physical AI Stack
심투리얼과 NVIDIA 피지컬 AI 스택
Isaac Sim/Lab·MobilityGen 합성데이터, rendering domain gap, Real2Sim(VR-Robo), Jetson 배치 — COMPASS가 R²D²·GR00T 생태계 안에서 어떤 역할을 하는지 조망한다.
CH
10
10
🚀Navigation Foundation Models & the 2026 Frontier
내비게이션 파운데이션 모델과 2026 최전선
NavFoM(800만 샘플)·world-action model·hierarchical mobility까지 — 데이터 스케일링과 구조적 분리 두 패러다임이 2026년 어떻게 만나고, 하이브리드 미래로 수렴하는지 전망한다.