TurboVLA: RTX 4090에서 1GB 미만 VRAM으로 32Hz 실시간 비전-언어-행동 모델 구현

핵심 요약

• 무엇을 · 이 연구는 로봇이 시각 정보와 언어 지시를 바탕으로 행동하는 '비전-언어-행동(VLA) 모델'의 새로운 패러다임인 TurboVLA를 제안합니다.
• 어떻게 · 기존 VLA 모델은 시각 정보를 대규모 언어 모델(LLM)로 변환한 뒤 행동을 예측하는 복잡한 과정을 거쳤습니다. 반면 TurboVLA는 시각 정보와 언어 지시를 각각 독립적으로 인코딩한 후, 가벼운 양방향 상호작용을 통해 직접 정보를 교환하고, 간결한 디코더로 연속적인 행동을 예측합니다. 즉, LLM을 중앙 인터페이스로 사용하지 않고 시각과 언어를 직접 연결하는 'V + L → A' 방식을 채택합니다.
• 결과 · TurboVLA는 LIBERO 벤치마크에서 평균 97.7%의 성공률을 달성했으며, 단 0.2B(2억) 개의 매개변수와 31.2ms의 추론 지연 시간, 그리고 RTX 4090 그래픽카드에서 0.9GB의 VRAM만을 사용하여 기존의 훨씬 큰 VLA 모델들과 동등하거나 더 나은 성능을 보였습니다.

왜 중요한가

기존 VLA 모델은 대규모 언어 모델(LLM)을 사용하기 때문에 계산량과 메모리 사용량이 많아 실시간 로봇 제어에 어려움이 있었습니다. TurboVLA는 이러한 한계를 극복하고 효율적인 방식으로 로봇이 시각, 언어, 행동을 연결하는 새로운 가능성을 제시합니다.

실생활·산업 영향

이 기술은 로봇이 복잡한 환경에서 사람의 지시를 실시간으로 이해하고 정밀하게 작업을 수행하는 데 기여할 수 있습니다. 예를 들어, 제조 공장의 로봇 팔, 서비스 로봇, 또는 재난 구조 로봇 등이 더 빠르고 효율적으로 작동할 수 있게 됩니다.

한계·주의

초록에는 구체적인 한계점이 명시되어 있지 않습니다. 다만, '소비자용 RTX 4090'에서 테스트되었다는 점을 고려할 때, 더 다양한 하드웨어 환경에서의 성능 검증이나 특정 복잡한 작업에서의 일반화 능력 등은 추가 연구가 필요할 수 있습니다.