현재 관찰을 넘어서: 제어 가능한 비마르코프 게임에서 멀티모달 대규모 언어 모델 평가

핵심 요약

• 무엇을 · 멀티모달 대규모 언어 모델(MLLM)이 현재 보이지 않는 과거 관찰에 기반하여 행동을 결정하는 능력을 평가하는 새로운 벤치마크인 RNG-Bench를 제안합니다.
• 어떻게 · RNG-Bench는 'Matching Pairs'와 '3D Maze'라는 두 가지 게임으로 구성됩니다. 'Matching Pairs'는 이전에 잠시 보였던 카드 위치와 정체를 기억해야 하고, '3D Maze'는 1인칭 시점을 통합하여 공간 지도를 만들어야 합니다. 이 게임들은 그리드 크기, 시각 패턴, 관찰 양식이라는 세 가지 난이도 축으로 평가되며, 'Memory Gap'이라는 새로운 지표로 망각과 잘못된 행동 선택을 구분합니다.
• 결과 · 가장 어려운 설정에서는 약 128K 토큰과 350개의 이미지 입력이 필요하며, 최신 MLLM도 아직 이 난이도를 완전히 해결하지 못했습니다. 'Memory Gap' 분석 결과, 대부분의 오류는 최적의 의사결정 부족보다는 초기 관찰을 잊어버리는 것에서 비롯됨을 보여줍니다. 또한, Qwen3.5-9B 모델을 최적 정책 롤아웃과 필터링된 모델 시연으로 미세 조정했을 때 RNG-Bench 성능이 향상되었고, 기존 벤치마크에도 전이되어 일반 멀티모달 능력 저하 없이 효과를 보였습니다.

왜 중요한가

기존 벤치마크는 AI가 숨겨진 상태를 재구성하는 능력을 제대로 측정하지 못하거나, 다른 기술과 혼동하는 경향이 있었습니다. 이 연구는 AI가 과거 정보를 기억하고 활용하는 능력을 독립적으로 평가할 수 있는 체계적인 방법을 제공하여, 실제 환경에서 AI의 신뢰성 있는 배포에 필수적인 요소입니다.

실생활·산업 영향

자율주행차나 로봇과 같이 동적인 환경에서 작동하는 AI 시스템은 현재 시야에 없는 과거 정보를 기억하고 추론해야 합니다. 이 벤치마크는 이러한 AI의 핵심 능력을 향상시키는 데 기여하여, 더 똑똑하고 신뢰할 수 있는 AI 시스템 개발에 도움을 줄 수 있습니다.

한계·주의

초록에 명시된 한계는 없지만, 가장 어려운 설정에서도 최신 MLLM이 아직 완전히 해결하지 못했다는 점은 현재 기술의 한계를 보여줍니다.