Verifiable RL for Spatial Reasoning

이전 장 DepthVLM까지의 흐름은 한 방향을 가리켰다. 더 나은 감독 신호를 모델 안으로 밀어넣자. SpatialVLM은 20억 개의 합성 VQA를, SpatialRGPT는 depth-plugin을, DepthVLM은 metric depth를 언어 인터페이스 안으로 녹였다. 공통 전제는 명확하다. 능력은 데이터와 헤드로 주입된다.

이 장은 그 전제를 뒤집는다. 2025년 DeepSeek-R1이 보인 것은, 채점 가능한(verifiable) 정답만 있으면 사람이 짜준 추론 예시(SFT) 없이도 rule-based reward만으로 긴 사고 사슬이 emergent하게 자란다는 사실이었다. reasoning은 새로 가르쳐야 할 능력이 아니라, base model에 이미 잠재한 능력을 보상으로 활성화(activate)하는 문제일 수 있다는 것이다.

2026년 이 관점이 공간 추론에 상륙한다. SVQA-R1은 R1식 RL을 공간 VQA에 처음 이식하며 view-consistency를 공짜 감독으로 삼았다. 그런데 '몇 미터냐'는 numeric geometry로 넘어가자 순진한 GRPO가 곧바로 무너졌다. Smooth Operator는 그 붕괴의 구조적 원인을 reward sparsity와 gradient 불안정으로 진단하고 dense한 sigmoid 보상으로 고친다. 마지막으로 SpatialThinker는 scene graph 자체를 reasoning loop 안의 dense reward로 끌어들여 다음 장의 grounding으로 다리를 놓는다. 이 장의 지적 궤적은 하나다. discrete correctness → continuous numerical grounding → structured grounding as reward.

R1이 공간에 오다

verifiable reward의 매력은 단순함에 있다. 정답을 규칙으로 채점할 수 있으면(수학 답이 맞았는가, 코드가 테스트를 통과했는가), 보상 모델을 따로 학습할 필요도, 사람이 추론 과정을 라벨링할 필요도 없다. DeepSeek-R1은 이 rule-based reward만으로 base model에서 긴 chain-of-thought가 자발적으로 창발함을 보였고, 그것이 2025년 reasoning 연구의 문법을 다시 썼다.

이 레시피의 엔진이 GRPO(Group Relative Policy Optimization)다. PPO와 달리 학습된 critic(value network)이 없다. 대신 한 prompt에 대해 정책이 \(G\)개의 응답을 sample해 하나의 group을 만들고, 각 응답의 보상 \(r_i\)를 group 통계로 정규화해 advantage를 만든다.

\[\hat{A}_i = \frac{r_i - \text{mean}(r_1,\dots,r_G)}{\text{std}(r_1,\dots,r_G)}\]

직관은 이렇다. group 안에서 평균보다 잘한 응답은 양의 advantage로 강화되고, 못한 응답은 억제된다. critic이 없으니 value 추정 오차도 없고, 보상은 오직 verifiable해야 한다는 제약만 남는다. 이 구조가 reasoning에 들어맞은 이유는, 수학·코드처럼 정답이 기계적으로 채점되는 도메인에서 group 내 상대 비교가 별도 감독 없이 학습 신호를 주기 때문이다.

공간 추론은 겉보기에 이상적인 다음 무대였다. 'A가 B의 왼쪽인가'는 참/거짓으로 채점 가능하고, '몇 미터 떨어졌나'는 GT 거리와 비교 가능하다. 그러나 이식에는 두 개의 함정이 숨어 있었다. 첫째, 공간 라벨 자체가 비싸다. SFT용 추론 예시는 물론이고 정답 라벨조차 3D 감독을 요구한다. 둘째, 그리고 더 치명적으로, '몇 미터'라는 연속 목표는 verifiable하되 그 보상을 어떻게 형태 짓느냐에 따라 GRPO가 완전히 다르게 행동한다. 이 두 함정이 각각 SVQA-R1과 Smooth Operator의 문제의식이 된다.

view-consistency라는 보상

SVQA-R1(Peiyao Wang & Haibin Ling, Stony Brook, 2025)의 출발점은 공간 도메인의 라벨 부족이었다. R1식 RL을 쓰고 싶지만, 채점할 정답과 SFT용 추론 예시를 대규모로 마련하는 비용이 걸림돌이다. 이들의 답은 라벨 대신 기하학적 불변량(invariant)을 보상으로 삼는 것이다.

핵심 통찰은 공간 관계가 view 변환에 대해 예측 가능하게 변한다는 점이다. 이미지를 좌우로 flip하면 'A가 B의 왼쪽'은 반드시 'A가 B의 오른쪽'으로 뒤집혀야 한다. in-plane rotation이나 perspective warp를 가해도 거리·상대 위치의 순서 관계는 규칙대로 보존되거나 변형된다. 즉 GT 라벨이 없어도, 원본과 변환본에 대한 모델의 답이 이 규칙과 일관되는지(view-consistent)를 채점할 수 있다. 이것이 공짜 감독(free supervision)이다.

SVQA-R1은 이를 Spatial-GRPO로 구현한다. 두 종류의 perturbation을 쓴다. 첫째, horizontal/mirror flipping은 left/right directionality를 감독한다. 원본과 mirror에 대한 답이 좌우 반전 규칙을 따르면 보상을 준다. 둘째, 2D viewpoint transform(in-plane rotation, perspective warp)은 distance/relative-position 추론을 강화한다. 시점이 흔들려도 거리 순서가 유지되어야 한다는 consistency를 보상한다. 결정적으로 이 과정에 SFT 데이터가 전혀 필요 없다(SFT-free). base model이 스스로 rollout을 내고, consistency 규칙이 채점관 역할을 하며, 그 결과로 해석 가능한 reasoning chain이 창발한다.

이것이 evolution의 전환점이다. ch2의 SpatialVLM은 view 변환을 데이터 증강으로 써서 더 많은 라벨을 만들었다. SVQA-R1은 같은 view 변환을 보상의 채점 규칙으로 승격시킨다. 데이터를 늘리는 대신, 이미 존재하는 기하 불변량을 감독 신호로 재활용하는 것이다. 다만 flip·rotation이 만드는 보상은 본질적으로 discrete correctness(방향이 맞았나, 순서가 맞았나)에 머문다. '정확히 몇 미터'라는 연속 값 앞에서 이 이산 보상은 다음 절의 붕괴를 예고한다.

숫자에서 GRPO가 무너지는 이유

Smooth Operator(Siwen Jiao 외, Amap/Alibaba·NUS·Tsinghua, 2026)는 불편한 사실에서 출발한다. numeric 3D 과제(거리·크기 추정)에 순진하게 GRPO를 적용하면 학습이 반복적으로 무너진다. 저자들의 진단은 두 단어로 압축된다. reward sparsity와 gradient 불안정.

문제의 뿌리는 보상이 numeric error의 크기(magnitude)를 버린다는 데 있다. binary reward \(r=\mathbb{1}[|d_{pred}-d_{gt}|/d_{gt}\le\tau]\)는 오차가 임계 \(\tau\) 안이면 1, 밖이면 0이다. 그런데 group 안의 rollout이 전부 tolerance 밖이면 모든 \(r_i=0\)이 되고, group-relative advantage는 \((0-0)/\text{std}=0\)으로 전부 소멸한다. gradient가 문자 그대로 0이다. ranking reward도 순서만 볼 뿐 3.6m와 3.7m가 정답 2.0m에서 얼마나 떨어졌는지 그 절대 격차를 지워버린다.

Smooth Operator의 처방은 두 축이다. 첫째, SNRA(Smooth Numerical Reward Activation)는 raw numeric error를 dense한 연속 보상으로 바꾼다. 동적으로 parameterize된 sigmoid가 그 변환기다.

\[r = \sigma\!\left(\alpha\left(\tau - \frac{|d_{pred}-d_{gt}|}{d_{gt}}\right)\right) \quad\text{vs.}\quad r=\mathbb{1}\!\left[\frac{|d_{pred}-d_{gt}|}{d_{gt}}\le\tau\right]\]

여기서 상대 오차 \(\delta=|d_{pred}-d_{gt}|/d_{gt}\)가 \(\tau\)에 가까울수록 보상이 부드럽게 상승한다. 오차가 조금이라도 다르면 보상도 다르므로, 전원이 틀린 group에서도 '덜 틀린' rollout이 더 높은 보상을 받아 advantage가 살아난다. 둘째, AP-GRPO(Absolute-Preserving GRPO)는 group 내 상대 ranking이 지워버린 절대 스케일 gradient를 다시 주입한다. magnitude 정보가 relative 정규화에 씻겨나가지 않도록 absolute scalar gradient를 보존하는 것이다.

결과의 무게는 sample efficiency에 있다. 아키텍처를 전혀 바꾸지 않고, 새 dataset Numerical3D-50K로 학습한 Smooth Operator가 약 4.5M 샘플을 쓴 large-scale supervised 방법에 필적한다. 50K 대 4.5M. 이는 ch2–ch4가 대표하던 '라벨을 더 모으자'는 축이, '보상을 잘 형태 지어 base model의 잠재 능력을 켜자'는 축으로 얼마나 급격히 기우는지를 보여주는 수치다. 보상 형태 하나가 두 자릿수 배의 데이터를 대체한다.

장면 그래프를 보상으로

SVQA-R1이 discrete consistency를, Smooth Operator가 continuous magnitude를 보상으로 다뤘다면, SpatialThinker(2025)는 한 걸음 더 나아가 구조(structure) 자체를 보상으로 만든다. 아이디어는 대담하다. reasoning 도중에 모델이 '머릿속 scene graph'를 세우게 하고, 그 그래프의 품질을 dense spatial reward로 채점하는 것이다.

구체적으로 SpatialThinker는 Scene Graph Generation과 reasoning을 별도 단계로 분리하지 않고 ONE pass 안에서 online RL로 통합한다. 모델은 답을 내기 전, 장면의 물체와 관계를 그래프로 표상하며 추론하고, dense spatial reward가 그 중간 표상이 실제 기하와 얼마나 부합하는지를 매 순간 감독한다. 보상이 최종 정답뿐 아니라 추론 과정의 구조적 grounding을 채점한다는 점에서, 이것은 reward를 통한 grounding이다.

효과는 규모 대비 극적이다. 7B 모델이 단 7K 샘플로 SFT 대비 3.6배 향상을 내며 GPT-5에 필적하고 GPT-4o를 능가한다. 30B로 키우면 14개 벤치마크 전반에서 GPT-5와 Claude 4 Sonnet을 넘어선다. ch2의 20억, supervised의 4.5M과 나란히 놓으면 7K라는 숫자의 의미가 선명해진다. 잘 설계된 보상은 데이터를 대체할 뿐 아니라, 세 자릿수 배 적은 샘플로 frontier 상용 모델을 앞지르게 한다.

이 장을 관통한 궤적을 다시 세우자. discrete correctness(SVQA-R1의 view-consistency) → continuous numerical grounding(Smooth Operator의 SNRA) → structured grounding as reward(SpatialThinker의 scene graph). 세 논문이 공통으로 증명하는 것은, RL이 SpatialVLM·SpatialRGPT의 supervised 데이터 생성을 verifiable geometric-consistency reward로 대체하는 paradigm shift다. 라벨을 더 모으는 대신 보상을 형태 지어 base model에 잠든 공간 능력을 켠다. 그리고 SpatialThinker가 mid-reasoning으로 세운 scene graph는, 자연스럽게 다음 질문으로 이어진다. 보상으로 grounding을 감독하는 것을 넘어, 단일 VLM이 아예 장면을 명시적으로 재구성하며 추론하게 하면 어떻게 될까.