Amazon SageMaker 및 Amazon OpenSearch Serverless를 활용한 오픈 소스 대형 비전 모델을 활용한 시맨틱 비디오 검색 구현

이 블로그 포스트에서는 자연어 및 이미지 쿼리를 사용하여 시맨틱 비디오 검색을 위해 대형 비전 모델(LVMs)을 활용하는 방법을 소개합니다. 시간 프레임 부드럽게 하는 등의 사용 사례별 메소드를 소개하여 비디오 검색 성능을 향상시킵니다. 또한, Hugging Face Model Hub의 공개 LVMs를 활용하여 비디오, 이미지 및 텍스트 처리를 수행하기 위해 Amazon SageMaker AI에서 비동기 및 실시간 호스팅 옵션을 사용하여 이 접근 방식의 엔드 투 엔드 기능을 설명합니다. 마지막으로 Amazon OpenSearch Serverless를 사용하여 저지연 시맨틱 비디오 검색을 수행합니다.

Amazon OpenSearch ML 커넥터 API 사용하기

OpenSearch는 다양한 제3자 머신러닝(ML) 커넥터를 제공하여 이를 지원합니다. 이 포스트에서는 Amazon Comprehend 커넥터와 Amazon Bedrock 커넥터 두 가지를 소개합니다. Amazon Comprehend 커넥터를 사용하여 LangDetect API를 호출해 문서의 언어를 감지하는 방법과 Amazon Bedrock 커넥터를 사용하여 Amazon Titan Text Embeddings v2 모델을 호출하여 문서로부터 임베딩을 생성하고 의미 검색을 수행하는 방법을 보여줍니다.

Amazon Bedrock 및 Amazon OpenSearch Service를 활용한 텍스트와 이미지의 키워드 및 의미 검색 결합

이 글에서는 Amazon Bedrock를 통해 Amazon Titan Multimodal Embeddings G1 모델의 멀티모달 임베딩을 이용한 OpenSearch Service를 구축하는 방법을 안내합니다. 이 솔루션은 사용자가 텍스트와 이미지를 모두 쿼리로 제출하여 샘플 소매 이미지 데이터셋에서 관련 결과를 검색할 수 있는 방법을 보여줍니다.

Clario가 Amazon Bedrock을 통해 임상 시험 문서 프로세스의 품질을 향상

Clario와 AWS의 협업은 AWS AI 및 머신러닝 서비스, Anthropic의 Claude와 같은 생성 모델을 통해 생명 과학 산업의 문서 생성 프로세스를 간소화하고 특히 복잡한 임상 시험 프로세스에 도움이 되었다.