Rufus가 AWS AI 칩과 병렬 디코딩으로 추론 속도를 두 배로 높이고 프라임 데이 트래픽을 처리하는 방법
AI 쇼핑 어시스턴트인 Rufus는 AWS AI 칩과 병렬 디코딩을 활용하여 프라임 데이의 수요를 충족시키며 응답 시간을 2배로 빠르게 하고 추론 비용을 50% 절감하며 피크 트래픽 중에도 원활한 확장성을 달성했습니다.
본문은 Trainium과 Inferentia로 여러 확산 트랜스포머를 실행하는 시리즈 중 첫 번째 게시물이다. 이 게시물에서는 PixArt-Sigma를 Trainium과 Inferentia 기반 인스턴스에 배포하는 방법을 소개한다.