비디오 딥리서치: 차세대 멀티모달 딥리서치 에이전트를 향하여

핵심 요약

• 무엇을 · 이 연구는 정적인 이미지에 국한되었던 기존 멀티모달 에이전트를 동영상 스트림까지 확장하는 'Video-DeepResearch'라는 새로운 AI 에이전트를 소개합니다. 이 에이전트는 동영상 내의 시공간적 정보를 정확히 파악하고 웹 탐색을 결합하는 것을 목표로 합니다.
• 어떻게 · 기존 모델의 문제점인 '시각 정보 무시'와 '내부 기억 의존'을 해결하기 위해, Video-DR은 '인지-탐색 분리 파이프라인'과 '단계별 도구 잠금 해제' 방식을 제안합니다. 이는 웹 검색 전에 동영상 프레임 전체에 대한 시각적 이해를 강제합니다. 또한, 지도 미세 조정과 GRPO(Group Relative Policy Optimization)라는 두 단계 훈련 방식을 사용하여 모방 학습의 한계를 뛰어넘는 자율적 탐색 능력을 부여했습니다. 평가를 위해 200개의 복잡한 다단계 VQA(Video Question Answering) 질문으로 구성된 'Video-DR-Bench'라는 새로운 벤치마크도 만들었습니다.
• 결과 · Video-DeepResearch-35B-A3B 모델은 평균 64.0%의 정확도로 새로운 최고 성능을 달성했습니다. 이는 Claude-4.5-Sonnet(59.0%)보다 5.0%포인트, GPT-5(52.5%)와 Gemini 2.5 Pro(57.5%)보다 훨씬 높은 수치입니다. 더 작은 30B-A3B 모델도 59.3%의 정확도로 Claude-4.5-Sonnet과 경쟁할 만한 성능을 보여, 제안된 훈련 방식의 효과를 입증했습니다.

왜 중요한가

기존 멀티모달 AI 에이전트들은 동영상과 같은 연속적인 시각 정보 처리 및 외부 정보 탐색에 약점을 보였습니다. 이 연구는 이러한 한계를 극복하고, AI가 동영상을 더 깊이 이해하고 외부 웹 정보를 활용하여 복잡한 질문에 답할 수 있는 차세대 에이전트 개발의 가능성을 제시합니다.

실생활·산업 영향

이 기술은 동영상 콘텐츠 분석, 보안 감시, 교육용 비디오 질의응답 시스템, 복잡한 정보 검색 등 다양한 분야에서 활용될 수 있습니다. 예를 들어, 사용자가 특정 동영상 장면이나 이벤트에 대해 질문하면, AI가 동영상을 분석하고 필요한 경우 웹에서 추가 정보를 찾아 정확한 답변을 제공할 수 있게 됩니다.

한계·주의

초록에는 명시적인 한계가 언급되어 있지 않지만, '예비 평가'라는 표현과 '병목 현상'을 해결하려는 노력에서 아직 개선의 여지가 있음을 유추할 수 있습니다. 또한, '복잡한 다단계 VQA'라는 표현은 여전히 해결해야 할 난이도 높은 문제들이 남아있음을 시사합니다.