Depth-native VLMs — DepthVLM vs DepthLM

7장의 APC는 mental simulation으로 perspective-taking을 정면돌파했다. 하지만 그 시뮬레이션은 토대를 하나 전제한다. 장면의 metric depth, 즉 각 지점이 카메라로부터 실제 몇 미터 떨어졌는가다. 2장 SpatialVLM은 이 depth를 오프라인 depth estimator로 뽑아 QA를 합성하는 데이터 레시피로 우회했고, 3·4장은 depth를 feature로 fuse하거나 읽을 수 있는 map으로 다뤘다. 공통 전제는 하나였다. dense metric geometry는 언어 모델 바깥의 전용 vision network가 담당한다는 것.

이 장의 두 논문은 그 전제를 정면으로 뒤집는다. DepthVLM은 LLM backbone에 가벼운 dense depth head를 붙여, 단일 VLM이 언어 출력과 full-resolution dense depth map을 한 번의 forward pass로 함께 내놓게 한다. DepthLM은 정반대 극단을 택한다. head도, 아키텍처 변경도 없이, sparse depth label 위의 순수 text-based SFT만으로 expert-level per-pixel metric depth에 도달한다. 한쪽은 dense map을, 다른 쪽은 text token을 출력한다.

두 설계가 반대인데도 결론은 같다. metric geometry는 언어 인터페이스를 통해 복원 가능하며, VLM은 specialist depth network에 필적하거나 그것을 넘어선다. DepthVLM은 기존 VLM을 능가하면서 pure-vision 선도 모델까지 앞서고, DepthLM은 가장 앞선 VLM을 metric depth에서 2배 넘게 이긴다. 이 장은 2장의 데이터 레시피와 loop를 닫는다. depth를 오프라인으로 합성해 QA로 굽는 대신, VLM이 online으로 metric depth를 산출한다. metric depth가 native가 되면서 7장의 mental simulation과 10장의 reconstruction 계열로 흘러 들어간다.

VLM을 깊이 센서로

SpatialVLM이 던진 데이터 레시피는 한 가지를 명시적으로 분업했다. depth는 오프라인 depth estimator가 뽑고, VLM은 그 depth에서 유도된 거리·크기 QA를 언어로 답한다. 이 분업은 이후 암묵적 정설이 됐다. dense metric geometry는 언어 모델이 아니라 그 바깥의 전용 vision head(dense prediction network)가 책임진다는 것이다. 코스의 central thesis로 말하면 projection bottleneck의 자연스러운 귀결이다. 2D encoder는 semantic alignment를 위해 tokenize하지, faithful 3D geometry를 위해 tokenize하지 않는다.

그래서 metric depth를 VLM이 직접 내놓는다는 발상은 오래 불가능해 보였다. 근거는 성능이었다. 이 과제의 난이도를 보여주는 앵커가 있다. DepthVLM의 project page는 심지어 GPT-5.5조차 이 metric depth 과제에서 \(\delta_1 \approx 0.4\)에 머문다고 보고한다. 절반 이상의 픽셀에서 예측이 참값과 25% 이내로 맞지 않는다는 뜻이다. 가장 앞선 범용 VLM도 depth를 '말로 재는' 데는 실패해 왔다.

여기서 두 metric을 고정하자. \(\delta_1\)은 예측 \(d_{pred}\)와 참값 \(d_{gt}\)의 비율이 임계 이내인 픽셀의 비율이다.

\[\delta_1 = \frac{1}{N}\sum_{i=1}^{N} \mathbb{1}\!\left[\max\!\left(\frac{d_{pred,i}}{d_{gt,i}},\ \frac{d_{gt,i}}{d_{pred,i}}\right) < 1.25\right]\]

AbsRel은 평균 절대 상대 오차다.

\[\text{AbsRel} = \frac{1}{N}\sum_{i=1}^{N} \frac{|d_{pred,i}-d_{gt,i}|}{d_{gt,i}}\]

\(\delta_1\)은 높을수록, AbsRel은 낮을수록 좋다. GPT-5.5의 \(\delta_1 \approx 0.4\)가 왜 낮은지는 이 정의에서 분명하다. metric scale을 조금만 놓쳐도 비율이 1.25를 넘어 그 픽셀은 통째로 오답 처리된다.

이 장의 두 논문은 이 벽을 서로 다른 방향에서 뚫는다. DepthVLM은 언어 모델에 dense depth head를 달아 map을 직접 출력하고, DepthLM은 head 없이 depth를 text token으로 뱉는다. 둘 다 증명하는 명제는 동일하다. metric geometry는 전용 vision head의 전유물이 아니라 언어 인터페이스를 통해 회수 가능하다. post-SpatialVLM의 암묵적 가정에 대한 정면 반박이다.

DepthVLM: 밀집 헤드 한 방에

DepthVLM의 선택은 단순하고 대담하다. RGB를 ViT encoder로 토큰화해 LLM backbone에 흘리는 표준 VLM 구조 위에, 가벼운 dense depth head 하나를 추가한다. LLM의 표현이 두 갈래로 나뉜다. 기존 text head는 언어를 생성하고, 새 dense depth head는 full-resolution metric depth map을 예측한다. 두 출력이 단 한 번의 forward pass에서 동시에 나온다. depth를 얻으려고 픽셀마다 다시 질의할 필요가 없다.

학습은 unified vision–text supervision으로 이뤄진다. 언어 supervision과 dense depth supervision을 하나의 목적함수 아래 묶어, 모델이 semantic과 geometry를 함께 익히게 한다. 여기에 two-stage schedule을 둔다. 대략적으로 먼저 언어·정렬 능력을 세운 뒤 dense depth 예측을 정련하는 순서다. 이 결합 덕분에 depth head는 LLM이 이미 학습한 풍부한 장면 표현 위에 올라탄다.

설계에서 의도적으로 피한 두 가지가 이 논문의 성격을 규정한다. 첫째, DepthVLM은 외부 vision model로부터 distill하지 않는다. 외부 depth network의 출력을 teacher로 삼으면 그 network의 오차가 누적(error accumulation)되기 때문이다. 대신 supervision을 ground-truth metric depth에서 직접 받는다. 둘째, per-pixel querying을 하지 않는다. depth를 픽셀 단위로 언어 질의해 받는 방식은 느리다. dense head는 한 번의 pass로 map 전체를 뱉어 이 비용을 없앤다.

이 접근을 뒷받침하려면 데이터가 필요하다. DepthVLM은 indoor와 outdoor를 아우르는 unified metric-depth benchmark를 VLM-compatible format으로 새로 제안한다. 실내 mm 스케일과 실외 수십 미터 스케일을 하나의 평가 틀에 담아, VLM이 두 domain을 한 표현으로 다루도록 강제한다. 이는 4장 SpatialBot이 인코딩 층위에서 마주했던 indoor-mm 대 outdoor-range 딜레마를, 이번엔 benchmark·supervision 층위에서 정면으로 다루는 것이다.

결과는 주장을 뒷받침한다. DepthVLM은 기존 VLM들을 능가하면서 inference 효율은 더 높고, 나아가 선도적 pure-vision depth 모델까지 앞선다. 언어 인터페이스를 유지한 채로 specialist를 넘어선 것이다. dense head가 있으니 이건 여전히 vision head 아니냐는 반문이 가능하지만, 요점은 그 head가 별도 network가 아니라 LLM backbone에 얹힌 lightweight 모듈이며 언어와 하나의 pass·하나의 supervision을 공유한다는 데 있다.

DepthLM: 헤드 없이 텍스트로

DepthLM은 반대 극단에서 같은 결론에 닿는다. dense head도, 아키텍처 변경도 없다. 표준 VLM에 sparse depth label 위의 순수 text-based SFT를 태우는 것만으로 expert-level per-pixel metric depth에 도달한다. depth는 map이 아니라 text token으로 출력된다. 질문이 특정 픽셀을 가리키면, 모델이 그 지점의 metric depth를 숫자 텍스트로 답한다.

DepthLM의 진짜 기여는 아키텍처가 아니라 진단이다. VLM이 metric depth에 실패해 온 원인이 표현력 부족이 아니라 두 개의 ambiguity라고 짚는다.

첫째는 pixel reference ambiguity다. "이 지점의 depth는?"이라 물을 때, 모델은 정확히 어느 픽셀을 묻는지 알기 어렵다. 텍스트 좌표는 이미지 그리드와 정렬이 흐릿하고, 근처 물체 경계에서 depth는 급변한다. 잘못된 픽셀을 참조하면 답 자체가 무의미해진다. 둘째는 cross-dataset camera-intrinsic ambiguity다. 같은 픽셀 변위라도 카메라의 focal length·principal point 같은 intrinsic이 다르면 대응하는 metric depth가 달라진다. 여러 데이터셋을 섞어 학습하면 모델은 intrinsic을 모른 채 상충하는 신호를 받아 metric scale을 고정하지 못한다.

해법은 두 병목에 정확히 대응한다. pixel reference에는 visual prompting을 쓴다. 질의 대상 픽셀에 marker(가리키는 시각적 표식)를 이미지 위에 직접 그려 넣어, 어느 점을 묻는지 모호함 없이 지정한다. intrinsic에는 intrinsic-conditioned augmentation을 쓴다. 학습 중 카메라 intrinsic을 조건으로 반영·증강해, 모델이 intrinsic에 맞춰 metric scale을 보정하도록 만든다. 두 fix 모두 아키텍처가 아니라 입력·데이터 층위의 개입이라는 점이 이 논문의 성격이다.

효과는 두 갈래다. 정확도에서 DepthLM은 가장 앞선 VLM들을 metric depth에서 2배 넘게 이기며, pure-vision specialist에 필적한 첫 VLM이 된다. 그리고 뜻밖의 부수 효과가 하나 있다. dense regression network는 인접 픽셀을 매끄럽게 이으려다 물체 경계에서 depth를 뭉개고 'flying point'(경계에 떠 있는 허깨비 점)를 만든다. DepthLM은 픽셀을 개별 text query로 다루므로 이런 over-smoothing이 구조적으로 발생하지 않는다. 별도의 boundary regularization 없이도 경계가 날카롭게 유지된다.

DepthLM은 arXiv non-exclusive 라이선스라 이 코스는 그 아키텍처를 논문 figure 대신 mermaid로 재현한다. 위 flowchart의 핵심은 marker가 찍힌 RGB와 intrinsic 조건이 표준 VLM으로 들어가 depth를 text token으로 내놓는다는 것, 그리고 head가 없다는 것이다.

같은 문제, 반대 설계

두 논문은 metric depth라는 동일한 목표를, 축마다 정반대의 선택으로 공략한다. 출력 modality, supervision, 아키텍처, inference 비용, over-smoothing 성향이 전부 갈린다.

이 대립을 coverage와 cost의 trade-off로 읽으면 본질이 드러난다. DepthVLM의 dense map은 한 번의 pass로 100% 픽셀을 덮는다. coverage가 최대이고 pass는 1회다. DepthLM의 text query는 질의한 픽셀만 답하므로 coverage는 예산에 비례하고, 전체 map을 덮으려면 픽셀 수만큼 pass가 필요하다. 대신 픽셀 하나에 집중하므로 그 지점의 정밀도와 경계 선명도를 얻는다. 밀집 커버리지를 한 번에 사느냐, 국소 정밀도를 질의당 사느냐의 교환이다. 코드 예제가 이 교환을 \(\delta_1\)·AbsRel과 pass 수로 수치화한다.

반대 설계가 같은 명제를 증명한다는 점이 이 장의 결론이다. 한쪽은 head를 더해 map을, 다른 쪽은 head를 빼고 token을 내놓지만, 둘 다 metric geometry가 언어 인터페이스를 통해 회수됨을 보인다. post-SpatialVLM의 '전용 vision head 필요' 가정은 필요조건이 아니라 하나의 선택지였을 뿐이다.

이로써 2장에서 열린 loop가 닫힌다. SpatialVLM은 depth를 오프라인으로 뽑아 QA로 굽는 offline 합성이었다. depth-native VLM은 그 depth를 online으로 산출한다. metric depth가 파생 라벨이 아니라 모델의 native 출력이 되면서, 7장의 mental simulation은 실측 가능한 토대를 얻고 10장의 reconstruction 계열은 재구성의 재료를 얻는다.