direcf
›
The Evolution of Spatial VLMs
📚 Coursework
The Evolution of Spatial VLMs
SpatialVLM(2024)에서 GR3D·VLM-3R(2026)까지, vision-language model이 '공간을 추론'하게 된 과정을 대표 논문 10편으로 해부한다. 진단(BLINK)→데이터 합성(SpatialVLM)→region·depth 아키텍처(SpatialRGPT·SpatialBot)→비디오·벤치마크(VSI-Bench·OmniSpatial)→정신적 시뮬레이션(APC)→depth-native VLM(DepthVLM)→verifiable RL(Smooth Operator)→reconstruction 융합(GR3D)으로 이어지는 흐름을, '언어 토큰과 연속적 3D 기하 사이의 표상 불일치'라는 축으로 관통하는 연구자·면접 대비 advanced 10챕터.
고급
10 chapters
Python
커리큘럼
CH
01
01
👁️BLINK: See but Not Perceive
지각 격차의 발견: VLM은 보지만 지각하지 못한다
Human 95.7% vs GPT-4V 51.26%. BLINK는 사람이 '눈 깜박할 새' 푸는 14개 고전 비전 과제를 3,807개 객관식으로 재구성해, VLM이 이미지를 의미 개념의 자루로 읽을 뿐 기하를 지각하지 못한다는 표상 격차를 드러낸다.
CH
02
02
🧮SpatialVLM: Data Is the Answer
데이터가 답이다: 인터넷 스케일 3D 공간 VQA 합성
공간 무지(spatial blindness)는 아키텍처가 아니라 데이터의 문제다. 2D 웹 이미지를 metric 3D로 들어올려 20억 개의 공간 VQA를 합성하면, RGB만 입력받는 표준 VLM도 거리를 미터 단위로 추정하기 시작한다.
CH
03
03
📦SpatialRGPT — Point at a Region, Plant the Depth
영역을 가리키고 depth를 심다: grounded 공간 추론
SpatialRGPT는 whole-image·RGB-only였던 SpatialVLM에 region grounding과 우아하게 degrade하는 depth-plugin을 붙여, VLM을 처음으로 '이 물체'를 가리키며 metric 3D를 추론하는 시스템으로 끌어올렸다.
CH
04
04
📐SpatialBot — Learning to Read Depth
SpatialBot — depth를 읽는 법: 질의 가능한 깊이와 Depth API
depth map은 줄곧 VLM 앞에 놓여 있었지만 모델은 그 숫자를 읽는 법을 배운 적이 없었다. SpatialBot은 millimeter metric depth를 uint24로 보존해 읽히고, 필요하면 Depth API로 호출하게 만든다.
CH
05
05
🧠Thinking in Space
공간을 기억하는가: 비디오 공간지능과 cognitive map
정지 이미지를 지나 비디오로 넘어가면 문제는 '지각'에서 '방을 머릿속에 재구성하는 기억'으로 바뀐다. VSI-Bench는 최고 모델도 인간에 33.8pt 뒤지며, CoT·self-consistency·tree-of-thoughts가 전혀 듣지 않고 오직 명시적 cognitive map만 도움이 된다는 것을 보인다.
CH
06
06
🗺️OmniSpatial
능력의 지도를 그리다: 종합 공간추론 taxonomy
단일 벤치 하나로는 공간지능의 지형을 다 그릴 수 없다. OmniSpatial은 dynamic reasoning·complex spatial logic·spatial interaction·perspective-taking의 4차원 아래 50개 세부범주와 8,400+ QA를 인지심리학 위에 정렬해, 흩어진 진단을 하나의 taxonomy로 종합하고 perspective-taking과 dynamic reasoning을 프런티어로 노출한다.
CH
07
07
🔄Perspective-Aware Reasoning (APC)
저쪽에서 보면: mental imagery로 egocentric bias 격파
VLM은 언제나 카메라 시점으로 답하는 egocentric bias에 갇혀, 다른 사람의 시점에서 '그의 오른쪽'을 묻는 순간 무너진다. APC는 vision foundation model로 장면을 object-centric 추상표현으로 세운 뒤, 그 추상 위에 rigid-body 변환을 걸어 '머릿속 시점 이동'을 명시적 기하로 외재화하고, 새 시점에 선 것처럼 VLM에 재질의한다. 그 결과 baseline은 물론 fine-tuned spatial 모델까지 앞선다.
CH
08
08
🎯Depth-native VLMs — DepthVLM vs DepthLM
Depth-native VLMs — VLM이 곧 깊이 센서: DepthVLM vs DepthLM
SpatialVLM 이후 dense geometry는 전용 vision head의 몫으로 여겨졌다. DepthVLM과 DepthLM은 정반대 설계로 같은 결론에 도달한다. VLM 자체가 metric depth 센서가 될 수 있고, 언어 인터페이스를 통해 specialist depth network를 넘어선다는 것이다.
CH
09
09
🎯Verifiable RL for Spatial Reasoning
보상으로 공간추론을 켜다: SVQA-R1에서 Smooth Operator까지
공간 능력은 더 많은 라벨을 모아서가 아니라, verifiable reward를 설계해 base model에 잠재한 능력을 '활성화'해서도 얻어진다. SVQA-R1은 view-consistency를 공짜 감독으로 삼아 SFT 없이 R1식 RL을 공간 VQA에 이식하고, Smooth Operator는 그 GRPO가 숫자 목표에서 왜 무너지는지 진단해 sigmoid 기반 dense reward로 고친다. 50K 샘플로 4.5M supervised에 필적한다.
CH
10
10
🧩Grounded 3D-Aware — Reconstruct While You Reason
장면을 재구성하며 추론하다: GR3D, VLM-3R, 그리고 남은 문제
이 코스의 종합. GR3D는 grounding을 전처리 단계에서 생성 시점 메커니즘으로 승격시켜 explicit-2D·implicit-2D·monocular-3D 세 mode로 hard spatial 문제를 grounded-2D→3D-inference로 분해하고, VLM-3R은 3D reconstruction을 instruction tuning 안으로 녹여 단안 영상에서 4D 추론으로 넘어간다. 두 모델이 앞선 depth·RL·perspective·grounding을 하나로 접으며, 동시에 아직 풀리지 않은 여섯 프런티어를 드러낸다.