HumanCLAW: 비전-언어 모델이 신체를 통해 행동할 수 있을까?

핵심 요약

• 무엇을 · 비전-언어 모델(VLM)이 물리적 신체를 통해 행동하는 능력을 평가하는 새로운 프레임워크인 HumanCLAW를 소개합니다. 이 프레임워크는 모델의 의사 결정과 실제 신체 움직임 실행을 분리하여 평가합니다.
• 어떻게 · HumanCLAW는 VLM이 '원자적 기술 명령'을 내리면, 이 명령이 중력과 충돌 같은 물리적 결과를 포함하는 짧은 전신 움직임으로 변환됩니다. 이를 통해 모델은 실제 세계에서 자유롭게 행동하지만, 균형 유지나 모터 오류 같은 실행상의 문제는 평가에서 제외됩니다. 즉, 모델의 '행동 지능', 즉 다음에 무엇을 실행할지에 대한 순간적인 선택 능력만 측정합니다. 이 프레임워크를 기반으로 41개 실내 장면에서 1,218개의 장기적인 '찾기-탐색-상호작용' 에피소드로 구성된 HumanCLAW-Bench를 구축했습니다.
• 결과 · 9개의 최신 VLM을 테스트한 결과, 어떤 모델도 벤치마크를 해결하지 못했으며, 가장 좋은 모델도 16.8%의 성공률에 그쳤습니다. 목표물 인식은 문제가 아니었습니다. 현재 VLM들은 '신체화된 자기 인식'이 부족하여 자신의 신체 위치, 목표 도달 여부, 장애물 충돌 여부 등을 파악하지 못하는 것으로 나타났습니다.

왜 중요한가

기존에는 VLM의 행동 실패가 모델의 잘못된 결정 때문인지, 아니면 로봇의 물리적 제어 실패 때문인지 구분하기 어려웠습니다. 이 연구는 이러한 문제를 해결하여 모델 자체의 '행동 지능'을 정확하게 평가할 수 있는 방법을 제시합니다.

실생활·산업 영향

이 연구는 미래에 VLM이 로봇이나 아바타와 같은 물리적 시스템을 더 효과적으로 제어하고 복잡한 작업을 수행하도록 돕는 데 중요한 기반이 될 수 있습니다. 현재의 한계를 명확히 보여줌으로써, 신체화된 자기 인식을 개선하는 방향으로 연구를 이끌 수 있습니다.

한계·주의

현재 VLM들은 신체화된 자기 인식이 부족하여 복잡한 작업을 성공적으로 수행하지 못합니다. 또한, 이 프레임워크는 저수준 실행(균형, 모터 제어)을 분리하여 평가하므로, VLM이 이러한 저수준 제어까지 직접 수행하는 능력은 평가하지 않습니다.