ExtractBench: 기업 문서 정보 추출을 위한 벤치마크

핵심 요약

• 무엇을 · 기업 문서에서 사용자가 정의한 형식(스키마)에 맞춰 정보를 추출하는 AI 에이전트의 성능을 평가하기 위한 새로운 벤치마크인 ExtractBench를 개발했습니다.
• 어떻게 · 이 벤치마크는 8개 비즈니스 도메인과 67개 문서 유형에 걸쳐 370개 기업 문서의 4,869페이지로 구성됩니다. 실제 문서, 합성 목록, 양식 등 다양한 유형의 데이터를 활용하여 스키마와 정답 데이터를 구축했으며, 정보의 정확성(F1 점수), 출처 추적 가능성(단어 및 페이지 수준 F1), 그리고 비용을 함께 측정합니다.
• 결과 · 상업용 시각 언어 모델(VLM)은 짧은 문서에서는 성능이 좋지만, 긴 문서에서는 목록을 잘라내는 경향이 있습니다. 코딩 에이전트는 정확도가 높지만 비용이 많이 듭니다. LlamaExtract Agentic Plus는 정확도, 완전성, 출처 추적 가능성 세 가지 지표에서 모두 1위를 차지했으며, 코딩 에이전트와 비슷한 정확도를 훨씬 저렴한 비용으로 달성했습니다.

왜 중요한가

기업 업무에서 AI 에이전트가 문서에서 필요한 정보를 정확하게 추출하는 능력은 점점 중요해지고 있습니다. 이 벤치마크는 이러한 AI 에이전트의 성능을 객관적이고 종합적으로 평가할 수 있는 표준을 제공하여, 기업들이 더 효율적이고 신뢰할 수 있는 AI 솔루션을 선택하고 개발하는 데 도움을 줍니다.

실생활·산업 영향

이 벤치마크를 통해 기업들은 문서 처리 자동화에 필요한 AI 에이전트의 성능을 정확히 파악하고, 특정 업무에 가장 적합한 모델을 선택할 수 있습니다. 이는 계약서 분석, 재무 보고서 처리, 고객 지원 문서 요약 등 다양한 기업 업무의 효율성을 크게 향상시킬 수 있습니다.

한계·주의

초록에는 명시적인 한계점이 언급되어 있지 않습니다. 다만, 상업용 VLM이 긴 문서에서 목록을 잘라내는 경향이 있다는 점은 현재 기술의 한계로 볼 수 있습니다.