대규모 언어 모델의 규모가 급격하게 증가함에 따라 여러 컴퓨팅 유닛 간의 효율적인 분산 추론이 점점 중요해지고 있다. 그러나 텐서 병렬성과 같은 인기 있는 분산 추론 기술로 인한 통신 오버헤드는 확장성과 낮은 지연 시간을 달성하는데 중요한 도전 요소이다. 이에 따라 싱크포인트 드롭(SPD)라는 새로운 최적화 기술을 소개하고 있는데, 이 기술은 어텐션 출력에서 동기화를 선택적으로 제거함으로써 텐서 병렬성에서의 통신 오버헤드를 줄이는 방법을 제안한다. 이에 대해 우선 블록 설계를 제안함으로써 효율적인 분산 추론을 가능하게 한다. 더 자세한 내용은 링크를 참고해 주세요.

<Apple 뉴스 본문 전체읽기>