대형 언어 모델(LLMs)은 OpenAI o1 및 DeepSeekR1과 같은 획기적인 시스템을 통해 검색 및 강화 학습을 위해 테스트 시간 컴퓨팅을 활용하여 성능을 최적화하고 추론 능력에서 큰 발전을 이루었다. 그러나 현재 방법론은 긴 출력 시퀀스를 생성하여 지연 시간을 증가시키고 효율성을 저해하는 중요한 도전에 직면하고 있다. 이러한 문제를 해결하기 위해 UC 버클리 및 UCSF 연구진은 적응적 병렬 추론을 도입하여 추론을 효율적으로 확장하고 콘텍스트 창을 초과하지 않도록 했다. 이를 통해 LLMs가 병렬로 추론할 수 있게 되었다.

<Mark Tech Post 뉴스 본문 전체읽기>