Isaac Sim — The Robotics Simulator

2장에서 Omniverse/OpenUSD라는 substrate를 깔았다. 이제 그 위에 로봇을 위한 첫 번째 실제 애플리케이션이 올라간다 — Isaac Sim 이다. 1장의 three computers 중 '시뮬레이션 컴퓨터'가 로봇에 대해 구체적으로 무엇을 하는지가 이 챕터다.

Isaac Sim은 처음부터 시뮬레이터였던 게 아니다. NVIDIA의 로봇 소프트웨어는 원래 Isaac SDK 라는 로봇 앱 개발 프레임워크로 출발했고, 시뮬레이션 파트가 Omniverse 위에 세운 별도의 reference application, 즉 Isaac Sim 으로 분화·성장했다. 지금은 오픈소스(GitHub isaac-sim/IsaacSim)로 공개되어 있다.

Isaac Sim이 하는 일은 한 문장으로 '로봇을 물리 기반 가상 세계에서 개발·테스트하고, sim-to-real을 검증하며, 대량의 synthetic data를 찍어내는 것'이다. 이를 위해 세 개의 엔진 — RTX 렌더(빛), PhysX(물리), Replicator 기반 SDG(라벨된 데이터) — 이 OpenUSD 씬 위에서 함께 돈다. 이 챕터는 그 세 엔진이 왜 sim-to-real gap과 직결되는지, 그리고 Isaac Sim이 위로는 Isaac Lab(4장)·Cosmos(5장), 옆으로는 ROS 생태계와 어떻게 물리는지를 해부한다.

3.1 Isaac SDK에서 Isaac Sim으로 — 왜 Omniverse 위인가

Isaac SDK(아이작 SDK) = NVIDIA가 초기에 내놓은 로봇 소프트웨어 개발 프레임워크. 인식·계획·제어 모듈을 조립해 로봇 앱을 만드는 도구 모음이었다.

여기서 시뮬레이션 부분이 갈라져 나와 성장한 것이 Isaac Sim(아이작 심) 이다.

Isaac Sim = Omniverse 위에 세운 로봇 시뮬레이션 reference application. 오픈소스이며(GitHub isaac-sim/IsaacSim), 로봇을 물리 기반 가상환경에서 개발·테스트·검증하고 대량의 synthetic data를 생성하는 것이 목적이다.

'reference application'이라는 표현이 중요하다. Isaac Sim은 완결된 폐쇄 제품이 아니라, Omniverse의 기능(USD·RTX·PhysX·Replicator)을 로봇용으로 조립해 보여주는 참조 구현이다. 그래서 사용자가 필요에 맞게 확장·개조할 수 있다.

Isaac Sim이 자기만의 엔진을 새로 만들지 않고 Omniverse 위에 선 것의 이점은 2장의 substrate 논리가 그대로 실현된 것이다.

• 공통 씬 포맷(OpenUSD): 로봇·환경·SimReady asset을 USD로 표현하므로, 2장에서 만든 asset이 그대로 통한다. URDF/MJCF 같은 로봇 서술 포맷을 import해 USD로 변환할 수도 있다.

• RTX 렌더 재사용: 사진처럼 사실적인 센서 이미지를 공짜로 얻는다.

• PhysX 물리 재사용: 강체·관절·접촉 물리를 검증된 엔진으로 돌린다.

• 상위/하위 연결: 같은 USD 씬이 Isaac Lab(학습)으로, Cosmos(생성 증강)로, ROS(실로봇 스택)로 이어진다.

통찰: 만약 Isaac Sim이 독립 시뮬레이터였다면 렌더·물리·씬 포맷을 다 자체 개발하고 상위 도구와의 연결을 매번 다시 짜야 했을 것이다. Omniverse 위에 선 덕에 Isaac Sim은 '로봇용 조립'에만 집중하고 나머지는 substrate에서 상속받는다. 이것이 NVIDIA 수직 통합이 개발 속도로 나타나는 지점이다.

3.2 RTX 렌더와 PhysX — sim-to-real gap의 두 축

sim-to-real gap(1장)은 크게 두 갈래에서 나온다: 보이는 것이 다르다(perception gap) 와 움직이는 것이 다르다(dynamics gap). Isaac Sim은 각각을 RTX 렌더와 PhysX로 공략한다.

RTX 렌더 — perception gap 공략. RTX는 NVIDIA의 실시간 ray tracing 렌더러다. 로봇의 카메라가 시뮬레이션에서 보는 이미지가 실제 카메라 이미지와 최대한 가깝도록, 물리 기반 조명·그림자·반사·재질(PBR)을 사실적으로 렌더한다.

왜 이게 중요한가? 로봇의 인식 모델(vision)은 픽셀을 먹고 자란다. 시뮬레이션 이미지가 만화처럼 밋밋하면, 거기서 학습한 vision 모델이 실제 카메라의 복잡한 조명·반사·노이즈 앞에서 무너진다. RTX의 사실적 렌더는 이 perception gap을 좁힌다. Isaac Sim은 RGB뿐 아니라 depth·semantic segmentation·instance segmentation·LiDAR 같은 multi-sensor 출력을 동시에, 그리고 완벽한 ground-truth 라벨과 함께 뽑아낸다.

PhysX — dynamics gap 공략. PhysX(피직스엑스) = NVIDIA의 GPU 가속 물리 엔진. 강체 역학, 관절(joint)·조인트 제약, 마찰·접촉, 그리고 로봇 팔·다리의 articulated body를 시뮬레이션한다.

로봇 정책은 물리 위에서 학습된다. PhysX가 접촉·마찰·관성을 실제에 가깝게 풀지 못하면, 시뮬에서 완벽히 걷던 휴머노이드가 실물에서 넘어진다 — dynamics gap이다. GPU 가속이 핵심인 이유는 강화학습이 수천 개의 로봇을 병렬로 굴려야 하기 때문인데, 이 대규모 병렬 물리가 4장 Isaac Lab의 토대가 된다.

두 엔진의 역할을 정리하면 이렇다.

핵심 통찰: Isaac Sim의 가치는 '예쁜 그림'이 아니라 perception gap과 dynamics gap을 동시에, 하나의 USD 씬 위에서 좁힌다 는 데 있다. 렌더와 물리가 같은 SimReady asset(2장)을 공유하기 때문에, 보이는 것과 움직이는 것이 일관된다.

3.3 Synthetic Data Generation — 데이터 공장의 핵심

1장에서 Physical AI의 진짜 병목이 데이터라고 했다. Isaac Sim에서 그 병목을 직접 공략하는 기능이 Synthetic Data Generation(SDG) 이고, 그 도구가 Replicator(리플리케이터) 다.

Synthetic Data Generation(합성 데이터 생성) = 시뮬레이션 안에서 이미지·센서 데이터와 그에 대한 완벽한 ground-truth 라벨(bounding box, segmentation, depth, pose 등)을 자동으로 대량 생성하는 것.

SDG가 실세계 데이터 수집을 이기는 두 가지 이유가 있다.

• 라벨이 공짜다: 실세계에서는 사람이 손으로 bounding box를 그리고 segmentation을 칠해야 한다. 시뮬레이션은 물체의 정확한 위치·형상·클래스를 이미 알고 있으므로, 픽셀 단위로 완벽한 라벨을 즉시 뽑는다. 사람 라벨러의 오류도, 비용도 없다.

• domain randomization으로 다양성을 만든다: 매 프레임 조명·재질·물체 위치·카메라 각도·배경을 무작위로 흔든다. 그러면 모델이 특정 조명·배경에 과적합하지 않고 '어떤 조건에서도' 물체를 인식하도록 강제된다.

domain randomization(도메인 랜덤화) = 시뮬레이션의 외형·물리 파라미터를 넓은 분포로 무작위화해, 실세계가 그 분포 '안'에 들어오게 만드는 sim-to-real 기법. 시뮬을 실세계에 정밀히 맞추는 대신, 실세계를 하나의 특수 케이스로 포함하도록 다양성을 넓힌다는 발상이다.

파이프라인은 개념적으로 이렇게 돈다.

1. USD 씬에 대상 물체(SimReady asset)와 센서(카메라·LiDAR)를 배치한다.

2. randomizer가 매 프레임 조명·재질·포즈를 분포에서 샘플링한다.

3. RTX가 그 프레임을 렌더하고, writer가 이미지 + GT 라벨을 자동 저장한다.

4. N 프레임 = N개의 완벽히 라벨된 학습 샘플. 수만~수백만 장을 밤새 찍는다.

통찰: SDG는 '데이터가 없다'는 Physical AI의 근본 문제를 '컴퓨트로 데이터를 산다'로 바꾼다. 다만 SDG만으로는 물리적으로 가능한 상황만 만들 수 있고, 실세계의 '있을 법하지 않지만 실제로 일어나는' 롱테일은 놓치기 쉽다 — 이 한계를 Cosmos의 생성 증강(5장)과 합성 데이터 워크플로우(7장)가 메운다. SDG는 데이터 공장의 1층이다.

3.4 ROS 통합과 digital twin 검증

시뮬레이터가 아무리 좋아도 실제 로봇 소프트웨어와 말이 통하지 않으면 반쪽이다. 그래서 Isaac Sim은 로봇 업계 표준 미들웨어인 ROS/ROS2 와 통합된다.

ROS/ROS2(로스) = Robot Operating System. 로봇의 센서·제어·인식·계획 노드들이 메시지로 통신하는 사실상의 산업 표준 미들웨어.

Isaac Sim이 ROS와 통합된다는 것의 실제 의미는, 시뮬레이션 안의 가상 로봇이 실제 로봇과 똑같은 인터페이스 로 데이터를 주고받는다는 것이다. 가상 카메라가 ROS 이미지 토픽을 publish하고, ROS로 짠 제어 노드가 그 토픽을 구독해 명령을 보내면, 가상 로봇이 움직인다. 즉:

• 하드웨어 없이 소프트웨어 검증: 실제 로봇을 사기 전에, 혹은 로봇이 위험한 상황에 놓이기 전에, 전체 ROS 스택을 시뮬에서 그대로 돌려본다.

• software-in-the-loop / hardware-in-the-loop: 실제 제어 코드가 시뮬 로봇을 제어하도록 연결해, 배치 전에 통째로 리허설한다.

이것이 로봇 관점의 digital twin 검증 이다. 2장에서 digital twin을 '물리적으로 유효한 가상 복제본'으로 정의했는데, 그 복제본이 실제와 같은 ROS 인터페이스로 동작하기에, 시뮬에서 검증한 것이 실물로 옮겨갈 때의 신뢰가 생긴다.

또한 Isaac Sim은 URDF/MJCF import 를 지원한다. 로봇을 서술하는 표준 포맷(URDF는 ROS 생태계, MJCF는 MuJoCo 생태계)을 그대로 가져와 USD로 변환하므로, 이미 존재하는 로봇 모델을 처음부터 다시 만들 필요가 없다.

통찰: RTX·PhysX·SDG가 '시뮬을 실세계처럼' 만드는 축이라면, ROS 통합은 '시뮬을 실제 소프트웨어 스택에 연결하는' 축이다. 전자는 데이터·물리의 사실성, 후자는 인터페이스의 호환성이다. 둘이 함께여야 sim-to-real이 데이터뿐 아니라 코드 수준에서도 성립한다.

3.5 위아래 연결 — Isaac Lab과 Cosmos로 가는 길

Isaac Sim은 홀로 서지 않는다. 스택의 데이터 층으로서, 위로는 학습(Isaac Lab), 옆으로는 생성 증강(Cosmos)과 맞물린다. 이 연결을 그리는 것이 이 챕터의 마무리이자 코스 전체의 예고다.

위로: Isaac Lab(4장, train). Isaac Sim의 PhysX 병렬 물리는 수천 개의 로봇을 동시에 굴릴 수 있다. Isaac Lab은 이 병렬성을 강화학습(RL)·모방학습(IL)에 특화된 학습 프레임워크로 감싼 것이다. 즉 Isaac Sim이 '물리적으로 유효한 대량 rollout'을 제공하면, Isaac Lab이 그 위에서 정책을 학습한다. Isaac Sim은 데이터·물리를, Isaac Lab은 학습 루프를 담당한다.

옆으로: Cosmos(5장, data 증강). SDG(3.3)는 물리적으로 가능한 상황을 잘 만들지만, 렌더의 사실성과 시나리오 다양성에는 한계가 있다. Cosmos의 World Foundation Model 은 Isaac Sim이 만든 정확한 3D 씬을 조건으로 받아, 더 사실적이거나 더 다양한 변주(날씨·조명·질감·희귀 상황)를 생성으로 증강한다. 시뮬(정확하지만 다양성 제한)과 생성(다양하지만 물리 정확성 관리 필요)이 상보적으로 결합하는 지점이다.

이 관계를 데이터 흐름으로 정리하면 이렇다.

핵심 통찰: Isaac Sim의 진짜 정체는 '시뮬레이터'라기보다 스택의 데이터 허브 다. 아래로는 OpenUSD substrate에서 세계를 상속받고, 안에서는 RTX·PhysX·SDG로 사실적 데이터를 굽고, 위로는 Isaac Lab에 학습 rollout을, 옆으로는 Cosmos에 증강 재료를, 밖으로는 ROS에 검증 인터페이스를 내보낸다. 6장에서 네 기둥을 하나의 지도로 통합할 때, Isaac Sim은 그 지도의 한복판에 놓인다.