대규모 언어 모델의 추론 능력을 향상시키는 데 있어서 긴 사고 체인(Chain-of-Thought, CoT)은 중요한 역할을 한다. 그러나 광범위한 추론 추적은 비효율성을 야기하고 첫 번째 토큰 도달 시간을 증가시킨다. 이러한 문제를 해결하기 위해 우리는 강화 학습(Reinforcement Learning, RL)을 활용하여 다중 단계 질문에 대한 간헐적 추론을 유도하는 새로운 학습 패러다임을 제안한다. 모델이 이미 간헐적 추론을 수행할 수 있는 능력을 갖고 있으며, RL을 통해 이를 더 향상시킬 수 있다는 것을 관찰했다. 우리는 간단하면서도 효과적인 규칙 기반 보상 시스템을 도입하여 올바른 중간 단계를 장려한다. 이를 통해 모델은 더 효율적으로 추론을 수행하고 TTFT를 개선할 수 있다.

<Apple 뉴스 본문 전체읽기>