APEX-Accounting: AI 회계 능력 평가 벤치마크

핵심 요약

• 무엇을 · 이 연구는 'APEX-Accounting'이라는 새로운 벤치마크를 소개합니다. 이 벤치마크는 최신 AI 모델이 실제 회계사처럼 업무를 처리할 수 있는지 평가하기 위해 고안되었습니다.
• 어떻게 · 벤치마크는 계정 조정, 비용 발생, 거래 기록, 보고서 작성 등 실제 회계 업무를 포함합니다. 10개의 가상 회계 시스템과 스프레드시트, PDF 등의 파일을 포함하는 160개의 비공개 평가 과제로 구성되어 있습니다. 모든 과제는 회계 전문가가 직접 만들고 풀었으며, 채점 기준도 전문가가 작성했습니다. 연구진은 9개의 최신 AI 모델을 이 벤치마크로 평가했습니다.
• 결과 · 평가 결과, Claude-Fable-5 (Max) 모델이 56.4%의 점수로 가장 높은 성능을 보였고, Muse-Spark-1.1 (xHigh)이 52.6%로 그 뒤를 이었습니다. 하지만 어떤 모델도 전문가 수준에는 크게 못 미쳤습니다. 특히, 8단계의 복잡한 과제를 모두 통과한 비율은 GPT-5.6-Sol (Max+Pro)이 2.6%에 불과했고, Muse-Spark-1.1 (xHigh)이 21.5%로 가장 높았습니다. 토큰 예산을 늘려도 모델의 점수는 전반적으로 상승했지만, 특정 예산 내에서는 모델이 더 많은 토큰을 사용한 과제에서 오히려 점수가 낮아지는 '심슨의 역설' 현상이 관찰되었습니다.

왜 중요한가

이 벤치마크는 AI가 실제 비즈니스 환경에서 복잡한 회계 업무를 얼마나 잘 처리할 수 있는지 객관적으로 평가하는 최초의 시도 중 하나입니다. 이는 AI의 실제 적용 가능성을 가늠하고, 미래 AI 개발 방향을 제시하는 데 중요한 역할을 합니다.

실생활·산업 영향

AI가 회계 업무를 자동화하고 효율성을 높일 수 있는 잠재력을 평가하는 데 기여합니다. 기업들은 이 벤치마크를 통해 AI 솔루션 도입 여부를 결정하고, AI 개발자들은 실제 비즈니스 요구사항에 맞는 모델을 만드는 데 활용할 수 있습니다.

한계·주의

현재 어떤 AI 모델도 회계 전문가 수준의 성능을 보이지 못하고 있습니다. 또한, 토큰 예산 증가가 항상 성능 향상으로 이어지지 않는다는 점은 AI 모델의 복잡한 문제 해결 능력에 대한 근본적인 한계를 시사합니다.