ACE-Data-0: 인간 중심의 주변 환경 포착을 통한 체화된 데이터 엔진

핵심 요약

• 무엇을 · 인간처럼 보고, 듣고, 만지고, 움직이는 AI(체화된 지능)를 훈련시키기 위한 종합적인 데이터셋을 구축하는 것이 목표입니다. 기존 데이터는 시점, 감각 종류, 공간 규모가 파편화되어 있어 인간의 완전한 인지-행동 과정을 관찰하기 어려웠습니다.
• 어떻게 · 연구팀은 'ACE(Ambient Capture Engine)'라는 인간 중심의 데이터 엔진을 개발했습니다. 이는 실제 집 환경을 정밀하게 보정된 녹화 스튜디오로 변환하여 사용합니다. 손과 사물 조작을 위한 '테이블 규모'와 전신 움직임 및 상호작용을 위한 '방 규모'의 두 가지 방식으로 데이터를 수집합니다. 이 시스템은 1인칭 및 다중 시점 영상, 전신 및 손 움직임, 사물 형태 및 6자유도 궤적, 오디오, 촉각 신호를 통합된 다중 감각 스트림으로 기록합니다. 이를 통해 'ACE-Data-0'이라는 데이터셋을 구축했는데, 이는 50명의 참가자가 두 가지 환경에서 200가지 작업 범주에 걸쳐 수행한 총 150시간 분량의 데이터로, 1,700만 프레임의 영상과 75,000개의 상호작용 에피소드를 포함합니다. 참가자들에게는 단계별 지시 대신 목표 수준의 지시를 제공하여 자연스러운 행동 변화를 보존했습니다.
• 결과 · ACE-Data-0은 원자적 조작부터 장기적인 가사 활동, 인간-장면 상호작용까지 다양한 데이터를 포함합니다. 또한, 신호, 장면 구성 요소, 상호작용으로 진행되는 계층적 벤치마크를 제시했습니다. 최신 AI 모델을 평가한 결과, 접촉, 가려짐, 자기 움직임, 긴 시간 범위에서 상당한 성능 격차가 있음을 발견했습니다. 이 데이터셋은 모방 학습, 월드 모델, 시각-언어-행동 시스템, 체화된 AI를 위한 확장 가능한 기반을 제공합니다.

왜 중요한가

체화된 지능 분야는 인간의 복잡한 행동을 모방하고 이해하는 AI를 개발하는 데 필수적이지만, 이를 위한 고품질의 통합된 데이터가 부족했습니다. 이 연구는 인간의 다양한 감각과 움직임을 실제 환경에서 통합적으로 기록함으로써, AI가 실제 세계에서 더 효과적으로 학습하고 상호작용할 수 있는 길을 열어줍니다.

실생활·산업 영향

이 데이터셋은 로봇이 가정 환경에서 인간의 작업을 돕거나, 가상 현실/증강 현실 환경에서 더 자연스러운 아바타를 만들거나, AI가 인간의 행동을 예측하고 이해하는 데 기여할 수 있습니다. 궁극적으로는 인간과 AI의 상호작용을 더욱 자연스럽고 효율적으로 만드는 데 중요한 역할을 할 것입니다.

한계·주의

초록에 따르면, 최신 AI 모델들이 이 데이터셋의 특정 조건(접촉, 가려짐, 자기 움직임, 긴 시간 범위)에서 여전히 상당한 성능 격차를 보인다는 점은 현재 기술의 한계를 보여줍니다. 이는 데이터셋이 제공하는 복잡성을 AI가 완전히 처리하지 못하고 있음을 의미합니다.