FriendBench: 사람과 멀티모달 대규모 언어 모델의 '친밀도 추론' 능력 벤치마크

핵심 요약

• 무엇을 · 두 사람의 20초 대화 영상 클립을 보고 이들이 서로 아는 사이(친밀한 관계)인지, 아니면 처음 만난 사이(낯선 관계)인지를 추론하는 벤치마크 데이터셋인 'FriendBench'를 소개합니다.
• 어떻게 · 텍스트, 오디오, 비디오 등 다양한 양식의 정보를 활용하여 7개 회사에서 개발한 26개 모델과 사람 평가단(human panels)의 성능을 비교했습니다. 총 96쌍의 균형 잡힌 대화 영상을 사용했습니다.
• 결과 · 가장 성능이 좋은 AI 모델과 사람 평가단의 정확도는 통계적으로 구별하기 어려울 정도로 비슷했습니다. 하지만 AI 모델은 '모르는 사이'라고 판단하는 경향이 강한 반면, 사람은 두 가지 답변(아는 사이/모르는 사이)에 대해 균형 잡힌 판단을 보였습니다. 또한, 더 풍부한 정보 채널(예: 시각 정보)이 도움이 되었지만, 사람은 음성 정보 외에 시각적 행동에서 추가적인 이점을 얻는 반면, AI는 그렇지 않았습니다.

왜 중요한가

사회적 상황을 이해하는 능력은 인간 상호작용의 중요한 부분이며, 이를 AI가 얼마나 잘 모방하고 이해하는지 평가하는 것은 AI의 사회적 지능 발전에 필수적입니다. 이 연구는 AI가 단순한 언어 이해를 넘어 비언어적 단서를 통해 사회적 관계를 추론하는 능력을 벤치마크했다는 점에서 중요합니다.

실생활·산업 영향

미래의 AI 비서나 소셜 로봇이 사람 간의 관계를 더 잘 이해하여 보다 자연스럽고 적절한 방식으로 상호작용할 수 있게 될 것입니다. 이는 고객 서비스, 교육, 심지어 치료 분야에서도 AI의 활용도를 높일 수 있습니다.

한계·주의

가장 강력한 AI 모델이 '모르는 사이'라는 답변에 편향되는 경향을 보였습니다. 또한, 사람은 음성 외의 시각적 행동에서 추가적인 정보를 얻는 반면, AI는 그렇지 못해 비언어적 단서 해석에 있어 여전히 한계가 있음을 보여주었습니다.