NVIDIA와 대학 연구진은 최근 논문에서, 큰 언어 모델이 더 긴 시퀀스 또는 병렬 추론 체인을 생성하기를 요구함에 따라, 추론 시간 성능이 토큰 수뿐 아니라 키-값(KV) 캐시의 메모리 풋프린트에 의해 심각하게 제한되는 문제를 다루었다. 이들은 Dynamic Memory Sparsification (DMS)라는 새로운 테크닉을 제안하여, 8배 KV 캐시 압축을 달성했다. 이로써 트랜스포머 LLMs의 추론 시간 성능이 향상되었고, 더 긴 시퀀스를 생성하는 것이 가능해졌다. 이 기술은 추론 속도와 효율성을 향상시키는 데 기여할 것으로 기대된다.

<Mark Tech Post 뉴스 본문 전체읽기>