대형 언어 모델(LLMs)은 복잡한 추론 작업을 처리하는 능력으로 주목받고 있으며, 챗봇부터 코드 생성 도구에 이르기까지 응용 프로그램을 변형시키고 있다. 이러한 모델은 종종 계산을 확장하여 추론 중에 더 많은 리소스를 할당함으로써 더 높은 정확도를 달성하는 것으로 알려져 있지만, 이러한 접근 방식은 상당한 단점을 야기한다. 더 긴 처리 과정은 지연을 초래할 수 있으며, 이는 실시간 응용 프로그램에서 문제가 될 수 있다. Letta와 UC 버클리의 연구자들은 ‘슬립 타임 컴퓨트’라고 불리는 새로운 기술을 도입하여 이러한 단점을 극복하려고 노력하고 있다. 이 기술은 LLMs가 유휴 상태에서도 작업을 수행할 수 있도록 하여 추론 비용을 낮추고 정확도를 높이는 데 도움을 줄 것으로 기대된다.

<Mark Tech Post 뉴스 본문 전체읽기>