희소 어텐션은 Transformer 기반 LLM이 긴 시퀀스를 처리하는 능력을 향상시키는 효과적인 방법으로 부상하고 있다. 이는 특히 LLM에 중심적인 자기 어텐션 메커니즘이 시퀀스 길이와 함께 비례하여 성장하는 문제 때문에 중요하다. 계산 비용이 선형적으로 증가하는 기존의 자기 어텐션 메커니즘은 시퀀스 길이가 길어질수록 더욱 비효율적으로 작동한다. 디코딩 단계에서 밀집형 어텐션 대신 희소 어텐션을 사용함으로써, 이러한 한계를 극복하고자 하는 노력이 진행 중이다. 특히 에든버러대, Cohere 및 Meta 등의 연구진들은 장기 컨텍스트 LLM을 위한 어텐션 메커니즘을 재고하고 있다. 논문에서는 이러한 노력의 세부 내용과 결과에 대해 다루고 있다.

<Mark Tech Post 뉴스 본문 전체읽기>