WorldDirector: 지속적인 동적 기억을 가진 제어 가능한 세계 시뮬레이터 구축

핵심 요약

• 무엇을 · 이 연구는 'WorldDirector'라는 새로운 비디오 세계 모델 프레임워크를 제안합니다. 이 모델은 가상 세계에서 움직이는 객체들을 지속적으로 기억하고, 어떤 시점에서든 자유롭게 탐색할 수 있도록 설계되었습니다.
• 어떻게 · 기존 모델들이 물리적 움직임과 시각적 표현을 섞고 연속적인 시각 정보에 의존했던 것과 달리, WorldDirector는 의미론적 움직임 조율과 시각적 생성을 명확히 분리합니다. 대규모 언어 모델(LLM)을 활용하여 3D 궤적과 카메라 움직임을 조율하고, 이 조율된 궤적을 비디오 생성의 제어 신호로 사용합니다.
• 결과 · 이러한 접근 방식 덕분에 엄격한 물리적 논리와 외형 안정성이 보장되며, 동적인 객체들이 시야에서 사라졌다가 오랜 시간 후 다시 나타나더라도 정확한 시각적 정체성을 유지할 수 있습니다. 실험 결과, 이 방법은 복잡하고 긴 이벤트를 전례 없는 제어 가능성과 지속적인 동적 객체 기억력을 가지고 합성할 수 있음을 보여주었습니다.

왜 중요한가

기존의 비디오 생성 모델들은 가상 세계 내 객체의 움직임을 일관되게 유지하거나 시점이 바뀔 때 객체의 정체성을 보존하는 데 어려움이 있었습니다. WorldDirector는 이러한 한계를 극복하여 더욱 현실적이고 제어 가능한 가상 세계 시뮬레이션을 가능하게 합니다.

실생활·산업 영향

이 기술은 영화 및 게임 산업에서 복잡한 장면을 생성하거나, 가상 현실(VR) 및 증강 현실(AR) 환경에서 더욱 몰입감 있는 경험을 제공하는 데 활용될 수 있습니다. 또한, 로봇 시뮬레이션이나 자율주행 시뮬레이션 등 다양한 분야에서 실제와 같은 환경을 구축하는 데 기여할 수 있습니다.

한계·주의

초록에는 명시적인 한계가 언급되어 있지 않습니다. 하지만, LLM의 궤적 조율 능력이나 비디오 생성 모델의 복잡성으로 인해 발생할 수 있는 잠재적 한계가 있을 수 있습니다.