SocietyBench: 가상 사회 현상 진화 예측 벤치마크

핵심 요약

• 무엇을 · 대규모 언어 모델(LLM)이 사회적 사건의 전개 방식을 이해하고 예측하는 능력을 측정하기 위한 새로운 벤치마크인 SocietyBench를 제안합니다.
• 어떻게 · 이 벤치마크는 단일 이벤트 주제를 받아 웹 뉴스 및 소셜 미디어 게시물을 수집하고, 이를 사실적 사건과 여론으로 분리된 시간순 타임라인으로 정리합니다. 각 시점은 예측 질문으로 변환되며, 모델은 익명화되고 날짜가 변경된 '가상 사회 세계'에서 미래를 예측합니다. 예측은 확률 보정(probability calibration)과 시간적 정확도(temporal accuracy)의 두 가지 100점 만점 기준으로 평가됩니다.
• 결과 · 6개의 최신 LLM 중 가장 강력한 모델도 100점 만점에 75.0점에 그쳤으며, 이는 단순한 기준점인 50점보다는 높지만 완벽하지는 않습니다. 모델은 확률 보정에는 강하지만 시간 예측에는 약하거나 그 반대일 수 있음이 밝혀졌습니다. 또한, 3개의 에이전트 프레임워크는 기본 모델보다 나은 성능을 보이지 못했으며, 모델 없는 휴리스틱은 모든 LLM보다 뒤처졌습니다. 이벤트별로 최대 21.4점의 성능 차이가 나타났습니다.

왜 중요한가

기존 LLM 평가는 주로 특정 작업을 완료하는 능력에 초점을 맞췄지만, 이 연구는 모델이 실제 사회적 사건의 복잡한 전개와 대중의 의견 변화를 얼마나 잘 이해하고 예측하는지 측정하는 새로운 관점을 제시합니다. 이는 LLM의 사회적 지능을 평가하는 중요한 단계입니다.

실생활·산업 영향

이 벤치마크를 통해 개선된 LLM은 미래 사회 트렌드 예측, 여론 변화 분석, 잠재적 사회적 갈등 예측 등 다양한 분야에서 활용될 수 있습니다. 이는 정책 결정, 비즈니스 전략 수립, 위기 관리 등에 기여할 수 있습니다.

한계·주의

현재 최강의 LLM도 75.0점에 그쳐 여전히 개선의 여지가 크며, 특히 확률 보정과 시간적 정확도 사이의 균형을 맞추는 데 어려움이 있습니다. 또한, 익명화된 가상 시나리오를 사용하므로 실제 세계의 미묘한 맥락을 완전히 포착하지 못할 가능성도 있습니다.