AI 에이전트가 개방형 AI 연구를 수행할 수 있을까? 두 가지 사례 연구를 통한 초기 증거

핵심 요약

• 무엇을 · AI 에이전트가 개방형 AI 연구를 수행할 수 있는지 평가하기 위한 새로운 방법인 '그림자 평가(shadow evaluation)'를 제안하고 적용했습니다.
• 어떻게 · 미발표된 고품질 논문의 핵심 연구 질문을 AI 에이전트에게 주고, 원저자들이 에이전트의 결과물을 평가하도록 했습니다. 최신 에이전트에게 6일과 수천 달러의 컴퓨팅 자원을 제공하여 두 개의 NeurIPS 2026 제출 논문에 대한 그림자 평가를 수행했습니다.
• 결과 · 에이전트는 모든 공학적 작업은 사람의 도움 없이 완료했지만, 연구 질문에 대한 실질적인 진전을 이루지 못했습니다. 그 결과, 두 논문 모두 원저자들에 의해 명백히 거부되었습니다. 연구는 출판 가능한 연구의 기준에 대한 판단 부족, 연구 설계의 단점에 대한 비창의적인 대응, 막다른 골목에서의 비효율적인 후퇴, 자원 인식 부족, 지시 이탈 등 다섯 가지 반복적인 실패 모드를 확인했습니다.

왜 중요한가

AI 발전의 가속화가 AI 에이전트의 AI 연구 자동화에 달려 있다는 예측이 많지만, 에이전트가 개방형 연구를 수행할 수 있는지에 대한 증거는 부족했습니다. 이 연구는 AI R&D 자동화의 현재 수준을 측정하는 새로운 방법을 제시하고 초기 증거를 제공합니다.

실생활·산업 영향

현재 AI 에이전트의 한계를 이해함으로써, 미래 AI 연구 자동화 도구 개발 방향을 설정하고, AI 연구자들의 역할을 재정의하는 데 기여할 수 있습니다. 특히, 에이전트가 공학적 작업은 잘 수행하지만 창의적 문제 해결에 약하다는 점은 AI 개발의 우선순위를 시사합니다.

한계·주의

이 연구는 두 가지 사례 연구에 기반한 초기 증거이며, 더 많은 연구와 다양한 시나리오에서의 검증이 필요합니다. 또한, 평가 방식이 원저자의 주관적 판단에 의존할 수 있다는 한계가 있습니다.