ARDY: 상호작용형 인간 동작 생성을 위한 하이브리드 표현 기반의 자기회귀 확산 모델

핵심 요약

• 무엇을 · 이 논문은 상호작용형 애플리케이션에서 실시간으로 사실적인 3D 인간 동작을 생성하는 ARDY라는 스트리밍 생성 프레임워크를 제안합니다.
• 어떻게 · ARDY는 명시적인 루트 특징과 잠재적인 신체 임베딩을 결합한 하이브리드 표현을 사용합니다. 또한, 가변적인 과거 컨텍스트를 처리하고 유연한 장기적 움직임 제약에 따라 조건을 부여할 수 있는 2단계 자기회귀 트랜스포머 디노이저를 사용합니다. 대규모 모션 캡처 데이터셋으로 훈련되어 텍스트와 키네마틱 제약에 직접적으로 반응하여 동작을 생성합니다.
• 결과 · HumanML3D 벤치마크와 Bones Rigplay 데이터셋 평가에서 ARDY는 높은 동작 품질과 제약 준수 능력을 보여주었습니다. 이를 통해 동적인 텍스트 제어, 다양한 키프레임 포즈 제약, 경로 추적, 마우스 및 키보드를 통한 상호작용형 이동 제어 등 다양한 실용적인 활용 가능성을 입증했습니다.

왜 중요한가

기존의 오프라인 동작 생성 방식은 정밀한 제어가 가능했지만 실시간 상호작용에 필요한 속도가 부족했고, 온라인 방식은 실시간 합성이 가능했지만 제어력이 떨어지거나 복잡한 텍스트 의미 및 장기 목표 처리 능력이 제한적이었습니다. ARDY는 이 두 가지 문제 사이의 간극을 메워 실시간 상호작용 환경에서 높은 정밀도와 제어력을 동시에 제공합니다.

실생활·산업 영향

애니메이션 제작, 가상 현실/증강 현실 시뮬레이션, 휴머노이드 로봇 제어 등 실시간으로 인간 동작을 생성하고 제어해야 하는 다양한 분야에서 ARDY를 활용하여 더욱 자연스럽고 상호작용적인 경험을 제공할 수 있습니다.

한계·주의

초록에는 명시적인 한계점이 언급되어 있지 않습니다. 다만, '대규모 모션 캡처 데이터셋' 훈련이 필요하다는 점에서 데이터셋 구축 및 훈련 비용이 높을 수 있음을 추론할 수 있습니다.