NVIDIA의 AI는 Fast-dLLM을 소개했다. 이는 Diffusion LLM에 KV 캐싱 및 병렬 디코딩을 제공하는 훈련 불필요한 프레임워크다. 이 모델은 양방향 어텐션 메커니즘을 사용하여 디코딩을 가속화하며, 이론적으로 자기 회귀 시스템보다 빠른 추론을 제공한다. 그러나 실제로 경쟁력 있는 추론을 제공하는 데 어려움을 겪는다. 더 자세한 내용은 링크를 참고.

<Mark Tech Post 뉴스 본문 전체읽기>