대형 언어 모델(LLMs)은 각 토큰이 일관된 논리적 설명에 기여하는 Chain-of-Thoughts(CoTs)을 생성한다. 이러한 추론의 품질을 향상시키기 위해 다양한 강화 학습 기술이 사용되고 있으며, 이를 통해 모델은 생성된 출력을 정확성 기준과 일치시키는 피드백 메커니즘으로 학습할 수 있다. LLM이 성장함에 따라 강화 학습이 더 중요해지는데, 이 연구에서는 고엔트로피 토큰 선택을 통해 모델의 정확성을 향상시키고 훈련 비용을 줄이는 방법을 제안한다. 이러한 방법은 RLVR(Reinforcement Learning with Verifiable Rewards)이라고 불리며, LLM의 성능을 향상시키는 데 도움이 될 것으로 기대된다. RLVR은 모델이 생성한 CoTs의 정확성을 증가시키고, 훈련 비용을 절감하면서 모델의 학습 효율성을 향상시킨다. 이를 통해 LLM이 더 뛰어난 언어 이해와 추론 능력을 갖출 수 있게 될 것으로 전망된다.

<Mark Tech Post 뉴스 본문 전체읽기>