Amazon Bedrock Model Distillation: 정확성 향상과 비용 및 지연 시간 감소

Amazon Bedrock Model Distillation은 Meta의 Llama 모델 패밀리와 고급 데이터 증강 기술 및 성능 향상을 강조합니다. 이 기술은 더 크고 능력 있는 Foundation 모델(FM)에서 더 작고 효율적인 모델(student)로 지식을 전이시켜 특정 작업에 뛰어난 특화 모델을 만듭니다.

Amazon Q Business를 사용하여 익명 사용자를 위한 공개적인 생성 AI 애플리케이션 구축

Amazon Q Business가 익명 사용자 액세스를 지원하기 시작했다. 이 기능을 통해 사용자 인증이 필요하지 않고 콘텐츠가 공개적으로 접근 가능한 Amazon Q Business 애플리케이션을 만들 수 있다. 본문에서는 Amazon Q Business를 사용하여 익명 사용자를 위한 공개적인 생성 AI 애플리케이션을 구축하는 방법을 소개한다.

Amazon SageMaker Large Model Inference 컨테이너 v15로 LLM 성능 향상

Amazon SageMaker Large Model Inference (LMI) 컨테이너 v15가 출시되었습니다. vLLM 0.8.4를 기반으로 한 vLLM V1 엔진을 지원하여 성능 향상과 다중 모달리티 모델 호환성을 제공합니다. 이를 통해 대용량 언어 모델을 최고의 성능으로 확장 가능하게 배포하고 제공할 수 있습니다.