월드컵 경기장: 실제 토너먼트에서 최신 LLM의 예측 능력 평가

핵심 요약

• 무엇을 · 2026년 FIFA 월드컵 기간 동안 6개의 최신 LLM이 104개 경기와 12개 조별 우승팀, 전체 우승팀에 대한 예측을 실시간으로 수행했습니다.
• 어떻게 · 각 경기가 시작되기 전에 LLM에게 7가지 시장 예측 카드(예: 승패, 점수 등)를 작성하도록 요청했습니다. LLM은 확장된 사고 과정과 서버 측 웹 검색 기능을 사용했으며, 질문 시점에는 정답이 존재하지 않아 정보 유출 없이 평가가 이루어졌습니다. 총 4,494개의 예측이 기록되었습니다.
• 결과 · LLM들은 경기 결과 예측에서 평균 63.9%의 정확도를 보였는데, 이는 북메이커가 선호하는 팀을 지지하는 것과 비슷한 수준입니다. LLM들은 서로 매우 자주 동의했지만, 이것이 정확도 향상으로 이어지지는 않았습니다. 무승부나 골 수 예측에는 소극적이었고, 특정 전형적인 점수 결과에 예측이 집중되는 경향을 보였습니다. 예측 정확도는 경기의 일방적인 정도에 따라 달라졌으며, 정보가 풍부한 접전 경기에서는 오히려 정확도가 낮아졌습니다. 전반적인 토너먼트 관련 질문에는 잘 답변했습니다. 현재 최신 LLM들은 이 과제에서 큰 차이를 보이지 않았습니다.

왜 중요한가

기존 LLM 예측 능력 평가는 과거 데이터를 기반으로 하여 모델이 이미 알고 있는 정보를 암기하는 문제가 있었습니다. 이 연구는 실제 발생할 사건에 대한 예측을 통해 정보 유출 없이 LLM의 진정한 예측 능력을 평가하는 새로운 방법을 제시합니다.

실생활·산업 영향

이 연구는 LLM이 스포츠 경기 예측과 같은 실시간, 미래 예측 시나리오에서 어떤 강점과 한계를 가지는지 보여줍니다. 이는 LLM을 활용한 금융 시장 예측, 날씨 예측 등 다양한 미래 예측 분야의 잠재력과 개선점을 이해하는 데 기여할 수 있습니다.

한계·주의

LLM들이 북메이커의 예측과 비슷한 수준을 보였고, 접전 경기에서 정확도가 떨어지는 등 아직 개선의 여지가 많습니다. 또한, 특정 유형의 예측(무승부, 골 수)에는 소극적인 경향을 보였습니다.