AWS Trainium과 AWS Inferentia를 활용한 경제적인 AI 이미지 생성을 위한 PixArt-Σ 추론

본문은 Trainium과 Inferentia로 여러 확산 트랜스포머를 실행하는 시리즈 중 첫 번째 게시물이다. 이 게시물에서는 PixArt-Sigma를 Trainium과 Inferentia 기반 인스턴스에 배포하는 방법을 소개한다.

PixArt-Sigma를 활용한 AWS Trainium 및 AWS Inferentia에서의 비용 효율적인 AI 이미지 생성

본 포스트는 Trainium 및 Inferentia 기반 인스턴스에서 여러 확산 트랜스포머를 실행하는 시리즈 중 첫 번째로, PixArt-Sigma를 Trainium 및 Inferentia 기반 인스턴스에 배포하는 방법을 소개합니다.

Amazon SageMaker에서 AWS Inferentia2를 사용하여 Mixtral 8x7B 최적화하기

이 포스트는 비용 효율적이고 고성능 추론을 위해 AWS Inferentia2 인스턴스에 Mixtral 8x7B 언어 모델을 배포하고 제공하는 방법을 보여줍니다. Hugging Face Optimum Neuron을 사용한 모델 컴파일 및 Text Generation Inference (TGI) Container를 통해 LLMs를 배포하고 제공하는 방법을 안내합니다.