인간형 로봇의 동시 이동 및 조작을 위한 예측 모델: $ω$-0

핵심 요약

• 무엇을 · 인간형 로봇이 이동과 물체 조작을 동시에 수행하는 '동시 이동-조작' 작업을 위한 새로운 잠재 예측 세계-행동 모델 $ω$-0를 제안합니다.
• 어떻게 · 언어 지시, 현재 시각 정보, 로봇의 고유 상태를 입력받아 로봇 제어기에 호환되는 전신 행동 잠재 변수를 직접 예측합니다. 미래 비디오를 재구성하는 대신, 미래 관측값의 압축된 임베딩을 학습하여 예측 목표를 경량화하고, 잠재 시각 예측과 확산 기반 전신 행동 생성을 결합합니다. 다양한 시점의 시각 입력(RGB, 깊이)을 지원하며, 시뮬레이션 재생을 통해 로봇 실행 가능한 행동 잠재 변수를 학습합니다. 또한, 40시간 이상의 실제 로봇 데이터셋 $ω$-HOME을 구축했습니다.
• 결과 · 11가지 실제 집안일 작업에서 $ω$-0 모델 하나로 부드러운 '움직이면서 조작하기' 행동을 생성했으며, 기존의 모방 학습, VLA, 인간형 로봇, 세계-행동 모델(WAM) 기준 모델들을 지속적으로 능가하는 성능을 보였습니다.

왜 중요한가

기존 로봇 제어 방식은 이동과 조작을 분리하거나 특정 부분에만 집중했지만, 이 모델은 로봇이 실제 환경에서 복잡한 작업을 유연하고 효율적으로 수행할 수 있도록 전신 협응 능력을 크게 향상시킵니다.

실생활·산업 영향

가정용 서비스 로봇이 설거지, 물건 정리 등 움직이면서 여러 작업을 동시에 처리해야 하는 복잡한 집안일을 더욱 능숙하게 수행할 수 있게 되어, 로봇의 실용성과 활용 범위를 넓힐 수 있습니다.

한계·주의

초록에는 명시적인 한계점이 언급되어 있지 않습니다. 다만, '잠재 예측'이라는 방식이 모든 상황에서 완벽한 예측을 보장하지는 않을 수 있습니다.