direcf
›
Ego-Exo Research
📚 Coursework
Ego-Exo Research
2024–2026년 최신 논문을 기반으로 Egocentric(1인칭)과 Exocentric(3인칭) 시점 융합 연구의 핵심 문제와 해결 방향을 다룬다. Ego-Exo4D, EgoExoBench, EgoExoMem 등 주요 벤치마크와 cross-view transfer, 대응점 학습, foundation model의 한계까지 — 논문을 쓰기 위한 연구자 관점의 커리큘럼.
고급
10 chapters
Python
커리큘럼
CH
01
01
👁️Two Perspectives, One World
두 시점, 하나의 세계
Egocentric과 Exocentric 시점이 왜 정보적으로 상호보완적인지, 그리고 왜 이 융합이 단순하지 않은지 이해한다.
CH
02
02
📊Datasets and Benchmarks
데이터셋과 벤치마크
Ego-Exo4D부터 EgoExoBench, EgoExoMem까지 — 연구의 기반이 되는 데이터셋과 평가 체계를 정밀하게 이해한다.
CH
03
03
🔗Cross-View Correspondence
크로스뷰 대응점 학습
두 시점 간의 의미적·공간적 대응을 학습하는 방법들과 CVPR 2026의 사이클 일관성 접근법을 깊이 이해한다.
CH
04
04
⚠️Why Naive Fusion Fails
왜 단순 융합은 실패하는가
두 시점을 단순히 합쳐 훈련하면 오히려 성능이 낮아지는 현상을 이해하고, 그 근본 원인과 구조적 해결 방향을 파악한다.
CH
05
05
🔄Cross-View Transfer Learning
크로스뷰 전이 학습
Exo에서 학습한 지식을 ego로 전이하거나, 두 뷰 사이의 공통 표현을 학습하는 방법들을 이해한다.
CH
06
06
🤖Foundation Models for Ego-Exo
Ego-Exo를 위한 파운데이션 모델
대형 비디오-언어 모델이 ego-exo 이해에서 어디까지 왔고 어디서 근본적으로 실패하는지를 파악한다.
CH
07
07
🎬Action Recognition Across Views
두 시점에서의 행동 인식
같은 행동을 두 시점에서 인식하고, 세밀한 행동 단계(keystep)를 이해하며, 능숙도를 추정하는 문제들을 다룬다.
CH
08
08
🌐Novel View Synthesis & 3D
새 시점 합성과 3D 이해
Ego에서 Exo를 생성하거나 그 반대로, 그리고 두 시점에서 3D 장면을 재구성하는 방법들을 탐색한다.
CH
09
09
🗣️Multimodal Ego-Exo Learning
멀티모달 Ego-Exo 학습
비디오에 언어, 오디오, 포즈를 더한 멀티모달 ego-exo 이해와 그라운딩 문제를 다룬다.
CH
10
10
🚀Open Problems & Research Directions
열린 문제와 연구 방향
Ego-exo 분야의 미해결 핵심 문제들을 분석하고, 2026년 현재 가장 임팩트 있는 논문 아이디어를 도출하는 방법을 배운다.