오픈 소스 NER 모델과 LLM을 활용한 Amazon SageMaker에서 AI 기반 문서 처리 플랫폼 구축하기

이 글에서는 Amazon SageMaker에서 오픈 소스 NER 및 LLM을 활용하여 AI 기반 문서 처리 플랫폼을 구축하는 방법에 대해 소개합니다.

Amazon SageMaker Large Model Inference 컨테이너 v15로 LLM 성능 향상

Amazon SageMaker Large Model Inference (LMI) 컨테이너 v15가 출시되었습니다. vLLM 0.8.4를 기반으로 한 vLLM V1 엔진을 지원하여 성능 향상과 다중 모달리티 모델 호환성을 제공합니다. 이를 통해 대용량 언어 모델을 최고의 성능으로 확장 가능하게 배포하고 제공할 수 있습니다.

Salesforce가 Amazon SageMaker AI로 고성능 모델 배포를 달성하는 방법

Salesforce의 AI 모델 서빙팀은 자연어 처리와 AI 능력을 기업 애플리케이션에 최적화하는 데 중점을 두고 있으며, Amazon SageMaker를 활용하여 모델 배포의 한계를 넓히고 있다.

Amazon SageMaker에서 AWS Inferentia2를 사용하여 Mixtral 8x7B 최적화하기

이 포스트는 비용 효율적이고 고성능 추론을 위해 AWS Inferentia2 인스턴스에 Mixtral 8x7B 언어 모델을 배포하고 제공하는 방법을 보여줍니다. Hugging Face Optimum Neuron을 사용한 모델 컴파일 및 Text Generation Inference (TGI) Container를 통해 LLMs를 배포하고 제공하는 방법을 안내합니다.

모델 맞춤화, RAG, 또는 둘 다: Amazon Nova 사례 연구

Amazon Nova 모델의 소개는 AI 분야에서의 중요한 발전을 나타내며, 대형 언어 모델(LLM) 최적화에 새로운 기회를 제공한다. 본 포스트에서는 Amazon Nova 모델을 기준으로 모델 맞춤화와 RAG를 효과적으로 수행하는 방법을 보여준다. 최신 Amazon Nova 모델을 활용한 모델 맞춤화와 RAG 사이의 포괄적인 비교 연구를 실시하고 이러한 소중한 통찰을 공유한다.