The Synthetic Data Factory

이 코스를 관통하는 논제를 한 문장으로 압축하면 이렇다 — GR00T의 스케일은 인터넷을 긁어 모은 것이 아니라 GPU가 찍어낸 synthetic data에서 나온다. 언어 모델은 인터넷이라는 이미 존재하는 거대한 텍스트 코퍼스 위에 세워졌지만, 로봇에게는 그런 코퍼스가 없다. '로봇이 물건을 집는 순간'을 기록한 인터넷은 존재하지 않는다. 그래서 로봇 파운데이션 모델을 훈련하려면 데이터를 긁어 오는 게 아니라 찍어내야 한다. 이 챕터는 그 공장, 즉 NVIDIA의 synthetic data factory가 실제로 어떻게 돌아가는지를 해부한다.

핵심 무기는 두 개의 스택이다. Isaac Sim은 Omniverse 위에 세워진 포토리얼 렌더링 + PhysX 물리 시뮬레이션 플랫폼이고, Isaac Lab은 그 위에서 GPU-native로 로봇을 학습시키는 프레임워크다. 여기서 결정적인 숫자가 등장한다 — humanoid locomotion 학습이 단일 GPU에서 135,000 FPS, manipulation은 150,000+ FPS로 돈다. 이것은 수천 개의 로봇 환경을 하나의 GPU 안에서 동시에 굴린다는 뜻이다. 실측 로봇 한 대가 1초에 1초치 경험을 쌓는 동안, 시뮬레이터는 1초에 수천 배의 경험을 쌓는다. 데이터가 사실상 무한해진다.

하지만 무한한 데이터가 곧바로 학습 가능한 supervision은 아니다. 시뮬레이터가 뽑아낸 rollout, 인간의 모션 캡처, 웹 비디오는 raw 상태로는 policy가 먹을 수 없다 — action label도, reward도, task 의미도 붙어 있지 않기 때문이다. 그래서 공장의 마지막 공정은 이 raw 픽셀과 궤적을 supervision으로 변환하는 것이다(autolabel, retarget). 이 챕터는 다섯 갈래로 나아간다: (1) 왜 애초에 합성데이터인가 — 실측의 구조적 한계, (2) Isaac Lab의 manager-based 아키텍처와 대규모 병렬 학습, (3) domain randomization과 sim-to-real gap의 해부, (4) Cosmos Transfer로 rendering gap을 좁히기, (5) 데이터를 supervision으로 바꾸는 autolabel/retarget. 그리고 이 마지막 공정이 다음 챕터의 반론('데이터가 곧 지능인가')으로 이어지는 다리가 된다.

왜 합성데이터인가: 실측의 구조적 한계

먼저 왜 실측(real-world) 로봇 데이터로는 파운데이션 모델을 훈련할 수 없는지를 못 박자. 문제는 '좀 비싸다'가 아니라 구조적으로 스케일이 안 된다는 데 있다.

실측 로봇 데이터는 실시간의 벽에 갇힌다. 로봇 한 대가 1초 동안 쌓을 수 있는 경험은 정확히 1초치다. teleoperation으로 사람이 로봇을 조종해 데이터를 모으는 방식은 조작자 한 명이 로봇 한 대를 붙들고 앉아 있어야 하고, 하드웨어는 마모되고 고장 나며, 위험한 상황(넘어짐, 충돌)은 반복해서 만들 수도 없다. LLM이 수조 토큰으로 학습된다는 사실과 대비하면, 실측 로봇 궤적을 그 규모로 모으는 것은 물리적으로 불가능에 가깝다.

표의 마지막 행이 합성데이터의 유일한 약점이자 이 챕터의 나머지가 공략하는 지점이다 — 합성데이터는 빠르고 싸고 무한하지만 '진짜가 아니다'. sim-to-real gap이라는 세금이 붙는다. 그래서 이 챕터의 진짜 이야기는 '어떻게 무한히 찍어내느냐'(Isaac Lab)와 '어떻게 그 세금을 낮추느냐'(domain randomization, Cosmos Transfer)의 두 축으로 갈린다.

왜 하필 NVIDIA가 이 게임을 지배하는가. 대규모 병렬 시뮬레이션은 곧 대규모 병렬 GPU 연산이기 때문이다. 시뮬은 CPU에서 환경 하나씩 순차로 도는 것이 전통이었지만, Isaac Lab은 물리·렌더링·센서 시뮬을 전부 GPU 위로 올려 수천 환경을 SIMD로 굴린다. GPU를 만드는 회사가 GPU 위에서 데이터를 찍어내는 공장을 짓는다 — 이것이 NVIDIA의 구조적 무기다. 데이터 병목을 연산 병목으로 치환하고, 그 연산을 자기가 판다.

Isaac Lab: manager-based 대규모 병렬 학습

Isaac Sim이 무대(포토리얼 렌더 + PhysX 물리)라면, Isaac Lab은 그 무대 위에서 로봇을 훈련시키는 연출 시스템이다. R2D2 팀의 2026년 2월 발표 'Scaling Multimodal Robot Learning'이 이 프레임워크의 설계 철학을 정리한다. 두 가지가 핵심이다 — manager-based 아키텍처와 대규모 병렬화.

manager-based 아키텍처는 학습 환경을 하나의 거대한 덩어리로 짜지 않고, 역할별 매니저로 분리한다. observations, actions, rewards, events(reset·randomization 트리거)를 각각 독립된 manager로 모듈화한다. 왜 이게 중요한가. 로봇 학습 실험은 '보상 함수만 바꿔보고 싶다', '관측에 tactile 센서를 추가하고 싶다', 'reset 조건만 다르게 하고 싶다' 같은 국소적 변경이 끊임없이 일어난다. 모든 것이 한 덩어리로 엉켜 있으면 한 줄 바꾸려다 전체를 깨뜨린다. manager로 분리하면 reward manager만 갈아끼우고 나머지는 그대로 둘 수 있다 — 이것이 실험 반복 속도를 결정한다.

대규모 병렬화가 이 챕터의 심장이다. Isaac Lab은 수천 개의 로봇 환경을 하나의 GPU 안에서 벡터화해 동시에 굴린다. 물리 스텝, 센서 렌더링, 정책 forward가 전부 batched tensor 연산으로 처리된다. 그 결과가 앞서 본 숫자다 — humanoid locomotion 학습 135,000 FPS, manipulation 150,000+ FPS. tiled RTX rendering(수천 개의 카메라 뷰를 하나의 큰 텍스처로 타일링해 한 번에 렌더)과 Warp 기반 센서 시뮬(GPU 커널로 LiDAR·tactile 등을 계산)이 이 처리량을 떠받친다.

이 숫자가 왜 게임체인저인지 감을 잡자. 135,000 FPS는 시뮬레이션이 초당 13만 5천 프레임의 로봇 경험을 만들어낸다는 뜻이다. 실측 로봇이 30 FPS로 돈다면, 단일 GPU 하나가 약 4,500대의 실측 로봇에 맞먹는 경험을 실시간으로 생산한다. 며칠이면 인간이 평생 teleoperation으로도 못 모을 궤적이 쌓인다. '데이터 공장을 돌린다'는 말이 은유가 아니라 문자 그대로의 처리량 이야기임을 여기서 확인한다.

Isaac Lab은 또한 multimodal 센서(RGB-D, LiDAR, tactile, proprioceptive)를 시뮬에서 함께 생성하고, procedural scene generation으로 장면 자체를 절차적으로 무작위 생성한다(같은 방 하나만 반복 학습하면 그 방에 overfit되므로, 방 배치·물체·조명을 절차적으로 바꿔 일반화를 강제한다). 학습 알고리즘은 RL과 IL을 모두 지원하며, RSL-RL·SKRL 같은 GPU-native 라이브러리와 물려 돌아간다. 정리하면 — Isaac Lab은 '무엇을 학습할지(manager로 정의)'와 '얼마나 많이 학습할지(수천 병렬 env)'를 분리해, 데이터 생성 처리량을 GPU 스케일로 밀어올린 프레임워크다.

domain randomization과 sim-to-real gap

무한한 데이터를 찍어내도 그것이 '가짜'라면 실제 로봇에서 무너진다. 이 세금의 정체가 sim-to-real gap이고, 이걸 정확히 세 갈래로 분해해야 각 갈래를 겨눈 처방이 보인다.

• rendering gap (비전): 시뮬의 카메라 이미지가 실제 카메라 영상과 다르다. 조명, 재질의 미세한 질감, 그림자, 렌즈 왜곡 — 시뮬은 '게임 그래픽 티'가 난다. 비전 기반 정책이 여기서 미끄러진다.

• physics gap (동역학): 시뮬의 마찰·질량·관성·접촉 모델이 실제와 다르다. 시뮬에서 완벽히 잡던 물체가 실제에선 미끄러지거나, 걷던 로봇이 넘어진다.

• latency gap (지연): 시뮬은 관측→행동이 즉각적이지만, 실제 로봇은 센서 읽기·통신·액추에이터 반응에 지연이 있다. 지연을 무시하고 학습한 정책은 실제에서 발진(oscillation)하거나 불안정해진다.

이 세 gap을 한꺼번에 공략하는 대표 기법이 domain randomization이다. 핵심 발상은 역설적이다 — 시뮬을 현실과 똑같이 만들려 애쓰는 대신, 시뮬의 파라미터를 일부러 무작위로 크게 흔든다. 매 학습 에피소드마다 질감·조명·마찰계수·물체 질량·센서 지연을 무작위 샘플링한다. 그러면 정책은 어떤 특정 시뮬 설정이 아니라 '가능한 모든 시뮬의 분포'에서 잘 동작하도록 학습된다.

왜 이게 통하는가. 무작위 분포를 충분히 넓게 잡으면, 실제 세계는 그 분포 안의 '하나의 샘플'처럼 보인다. 마찰이 0.5든 1.5든 다 겪어본 정책에게 실제 마찰 0.9는 새로울 게 없다. 즉 domain randomization은 정책을 특정 물리값에 의존하지 않도록 만들어, sim-to-real gap을 정책의 강인함(robustness)으로 흡수한다. physics gap과 latency gap은 이 방식으로 특히 효과적으로 공략된다 — 마찰·질량·지연을 랜덤화 파라미터에 넣으면 된다.

트레이드오프도 분명하다. 분포를 너무 넓게 흔들면 학습이 어려워지고(어떤 설정에서도 완벽하진 않은 보수적 정책이 됨), 너무 좁게 흔들면 실제가 분포 밖으로 새어 나가 gap이 남는다. 이 균형 잡기가 sim-to-real 엔지니어링의 핵심 기술이다. 그리고 rendering gap만큼은 domain randomization으로 흔드는 데 한계가 있다 — 질감을 아무리 랜덤화해도 '실사'와는 여전히 거리가 있다. 이 잔여 rendering gap을 겨냥한 별도 무기가 다음 섹션의 Cosmos Transfer다.

Cosmos Transfer: rendering gap 좁히기

domain randomization이 physics·latency gap을 강인함으로 흡수했다면, 잔여 rendering gap을 정면으로 공략하는 것이 Cosmos Transfer다. 임무는 하나 — sim 렌더를 photoreal로 도메인 전이해 비전 정책이 실사 앞에서 무너지지 않게 만든다.

작동 원리의 직관은 이렇다. Isaac Sim이 장면의 구조를 제공한다 — 물체 배치, 로봇 자세, depth map, segmentation mask 같은 ground-truth 정보. Cosmos Transfer는 이 구조를 보존한 채 겉모습만 photoreal로 갈아끼운다. 게임 그래픽처럼 보이던 프레임이 실제 카메라로 찍은 듯한 프레임으로 바뀌지만, 그 안에서 컵이 어디 있고 로봇 팔이 어떤 자세인지는 시뮬이 준 구조 그대로다.

여기서 합성데이터 공장의 가장 영리한 부분이 드러난다 — label이 공짜로 따라온다. 실측 데이터는 픽셀을 먼저 얻고 사람이 나중에 라벨을 붙여야 하지만, 합성 파이프라인은 순서가 반대다. 시뮬레이터가 '정답'(물체 위치, 자세, action)을 이미 완벽히 알고 있는 상태에서 픽셀을 생성한다. Cosmos Transfer가 겉모습만 실사로 바꿔도 이 정답은 그대로 유효하다. 결과는 '정확한 label이 붙은 실사급 이미지'의 대량 생산이다. domain randomization과 결합하면 하나의 sim 장면에서 조명·배경·질감이 다른 수천 개의 photoreal 변형이 쏟아진다.

Cosmos Transfer가 앞 챕터에서 본 world model과 같은 계열이라는 점을 기억하자. 세상이 어떻게 보이는지에 대한 학습된 표현(WFM)이 있기에, 구조를 입력받아 그럴듯한 실사 겉모습을 생성할 수 있다. 예측(추론)과 생성이 같은 dynamics의 앞뒷면이라는 그 원리가, 여기서는 '데이터 공장의 렌더링 엔진'으로 나타난다.

정리하면 sim-to-real 공략은 분업 구조다 — physics·latency gap은 domain randomization이 강인함으로 흡수하고, rendering gap은 Cosmos Transfer가 photoreal 전이로 좁힌다. 두 무기가 서로 다른 gap을 겨눈다. 이 조합으로 시뮬레이터가 뽑아낸 무한한 장면이 '실제 로봇에서도 통하는' 학습 데이터로 승격된다.

데이터를 supervision으로 바꾸기: autolabel과 retarget

공장의 마지막 공정, 그리고 이 챕터에서 가장 자주 간과되는 부분이다. raw 데이터는 그 자체로 supervision이 아니다. 시뮬 rollout, 인간 모션 캡처, 웹 비디오 — 이것들은 픽셀과 궤적일 뿐, policy가 학습하려면 반드시 다른 것으로 변환되어야 한다.

무엇이 부족한가. policy가 학습되려면 데이터에 세 가지가 붙어 있어야 한다 — (1) action label: 각 프레임에서 로봇이 어떤 행동을 취했는가, (2) reward 또는 task 의미: 이 궤적이 무슨 task를 성공/실패했는가, (3) embodiment 정합: 그 행동이 '우리 로봇의 몸'으로 표현되어 있는가. raw 소스에는 이 셋 중 어느 것도 보장되지 않는다. 웹 비디오에는 action label이 없고, 인간 모션은 인간의 관절 구조로 되어 있어 로봇의 관절과 맞지 않는다.

autolabel이 (1)과 (2)를 공략한다. label 없는 비디오나 rollout에 대해, 모델(흔히 world model이나 inverse dynamics model)이 '이 두 프레임 사이에 어떤 action이 있었을까'를 추론해 action label을 자동으로 붙인다. task 의미도 마찬가지로, 성공 여부를 판정하는 reward model이 자동으로 라벨을 매긴다. 사람이 프레임마다 손으로 다는 대신 모델이 대신 단다 — 그래서 '무한한 데이터'가 실제로 무한한 supervision이 된다.

retarget이 (3)을 공략한다. 인간의 모션 캡처 데이터는 인간의 골격·관절로 기록되어 있다. 이를 로봇의 자유도(DoF)와 링크 구조에 맞게 좌표를 다시 매핑하는 것이 retargeting이다. 사람이 컵을 집는 손목-팔꿈치-어깨의 궤적을 humanoid 로봇의 관절 각도 시퀀스로 번역한다. retarget이 없으면 방대한 인간 모션 데이터는 로봇에게 '읽을 수 없는 외국어'다.

이 공정의 함의를 분명히 하자. synthetic data factory는 사실 두 단계다 — 생성(Isaac Lab이 픽셀·궤적을 무한히 찍어냄)과 변환(autolabel·retarget이 그것을 supervision으로 승격). 생성만으로는 부족하고, 변환이 없으면 그 무한한 데이터는 policy에게 쓸모없는 raw 더미일 뿐이다. 데이터를 supervision으로 바꾸는 이 마지막 공정이 공장의 진짜 부가가치다.

그리고 바로 이 지점이 다음 챕터의 반론으로 이어지는 다리다. 만약 supervision이 결국 모델(autolabel의 inverse dynamics, reward model)이 붙인 것이라면 — 데이터의 품질은 그 라벨링 모델의 품질에 종속된다. '무한한 데이터'가 정말 '무한한 지능'으로 번역되는가, 아니면 라벨링 모델의 한계가 곧 정책의 한계인가? 데이터 공장을 돌리는 것과 지능을 만드는 것 사이의 이 간극이 다음 챕터의 주제다.