검색 증강 강화 미세 조정을 통한 유추 추론 학습

핵심 요약

• 무엇을 · 언어 모델이 외부 지식을 활용하여 복잡한 추론 문제를 해결할 때, 단순히 의미가 비슷한 정보를 찾는 것이 아니라, 문제 해결에 실질적으로 도움이 되는 '유사한 추론 패턴'을 가진 정보를 찾아 활용하도록 돕는 새로운 학습 프레임워크 'RA-RFT'를 제안합니다.
• 어떻게 · RA-RFT는 두 단계로 구성됩니다. 첫째, '골드 관련성 증류'를 통해 일반적인 의미 유사성이 아닌, 문제 해결에 가장 유익한 추론 패턴을 가진 과거 사례를 찾아내는 검색기를 훈련합니다. 둘째, 이 검색된 유추 사례들을 활용하여 강화 학습 방식으로 언어 모델을 미세 조정하여, 모델이 검증 가능한 결과 보상 하에 추론 과정을 활용하도록 학습시킵니다.
• 결과 · 수학 추론 벤치마크에서 RA-RFT는 기존 강화 미세 조정 방법보다 일관되게 우수한 성능을 보였습니다. 예를 들어, AIME 2025 평균@32 정확도를 Qwen3-1.7B 모델에서는 7.1점, Qwen3-4B 모델에서는 2.8점 향상시켰습니다. 이는 추론에 특화된 검색 방식이 보상 설계나 학습 커리큘럼 개선과는 별개로 모델 성능을 향상시키는 중요한 요소임을 시사합니다.

왜 중요한가

기존 언어 모델은 복잡한 추론 문제에서 단순히 의미가 유사한 정보를 검색하는 데 한계가 있었습니다. 이 연구는 문제 해결에 필요한 '진정한 유추'를 가능하게 하는 검색 방식을 제시하여, 언어 모델의 추론 능력을 한 단계 끌어올릴 수 있는 잠재력을 보여줍니다.

실생활·산업 영향

이 기술은 복잡한 수학 문제 풀이, 과학적 발견, 법률 분석 등 고도의 추론 능력이 필요한 분야에서 언어 모델의 활용도를 크게 높일 수 있습니다. 모델이 단순히 정보를 나열하는 것을 넘어, 실제 문제 해결 전략을 제시하는 데 기여할 수 있습니다.

한계·주의

초록에는 명시적인 한계점이 언급되어 있지 않지만, '강화 미세 조정' 과정의 복잡성이나 '골드 관련성 증류'를 위한 적절한 데이터 구축의 어려움 등은 내재된 도전 과제일 수 있습니다.