아마존 SageMaker AI는 머신러닝 모델을 위한 완전 관리형 실시간 추론 호스팅 서비스를 제공합니다. 사용자는 모델을 SageMaker 엔드포인트에 배포하며, 이 엔드포인트는 하나 이상의 컴퓨팅 인스턴스에 의해 지원됩니다. SageMaker는 프로비저닝과 스케일링을 자동으로 처리하여 사용자가 모델 운영에 집중할 수 있도록 돕습니다. 이 글에서는 생성형 AI 작업에 가장 적합한 두 가지 엔드포인트 아키텍처인 단일 모델 엔드포인트(SME)와 추론 구성 요소(IC) 엔드포인트에 대해 자세히 설명합니다. 이러한 엔드포인트는 상세한 관찰 가능성을 제공하여 사용자가 AI 추론을 효과적으로 모니터링하고 디버깅할 수 있도록 지원합니다.

<AWS Blog 뉴스 본문 전체읽기>