도구 호출의 쓰디쓴 교훈: LLM의 도구 활용 방식 개선

핵심 요약

• 무엇을 · 이 연구는 대규모 언어 모델(LLM)이 외부 도구를 사용하는 두 가지 주요 방식인 '프로그래밍 방식 도구 호출(PTC)'과 '네이티브 JSON 도구 호출'의 성능을 비교했습니다.
• 어떻게 · 연구팀은 BFCL v4 벤치마크에서 14가지 언어 모델을 대상으로 두 가지 도구 호출 방식을 체계적으로 평가했습니다. 프로그래밍 방식 도구 호출에서는 도구가 타입이 지정된 파이썬 스텁 형태로 모델에 제공되며, 모델은 코드를 통해 이를 호출하고 실행 및 결과 처리가 한 번의 에이전트 턴에 이루어집니다.
• 결과 · 프로그래밍 방식 도구 호출은 14개 모델 중 11개에서 네이티브 JSON 도구 호출과 같거나 더 나은 성능을 보였습니다. 특히 GPT-5.6 계열 모델에서는 JSON 방식 대비 10.6%의 성능 향상을 달성했습니다. 또한, 병렬 팬아웃 상황에서 14개 모델 중 13개에서 기준선과 같거나 더 우수했으며, 컨텍스트 로테이션 조건에서도 안정적인 성능을 유지했습니다(JSON 방식은 평균 2.3% 성능 저하).

왜 중요한가

LLM이 외부 도구를 효과적으로 사용하면 훈련 데이터의 한계를 넘어 실제 세계에서 더 복잡하고 다양한 작업을 수행하는 '에이전트'로 기능할 수 있습니다. 이 연구는 LLM의 도구 활용 능력을 향상시키는 새로운 방법을 제시하여 LLM 에이전트의 발전 가능성을 보여줍니다.

실생활·산업 영향

이 연구 결과는 LLM 기반 애플리케이션 개발자들이 더 효율적이고 강력한 도구 연동 방식을 선택하는 데 도움을 줄 수 있습니다. 예를 들어, 복잡한 데이터 처리, 여러 API 연동, 실시간 정보 검색 등 다양한 실제 시나리오에서 LLM의 성능과 신뢰성을 높일 수 있습니다.

한계·주의

초록에는 명시적인 한계점이 언급되어 있지 않습니다. 다만, 특정 벤치마크(BFCL v4)와 모델(14개)에 대한 평가이므로, 다른 환경이나 모델에서는 추가적인 검증이 필요할 수 있습니다.