CLIP 프레임워크는 이미지-텍스트 검색과 같은 다중 모달 표현 학습에서 중요한 역할을 하고 있지만, 텍스트 입력에 제한이 있고 이미지와 텍스트 처리를 분리하는 이중 인코더 설계 등 몇 가지 한계가 있습니다. UniME는 이러한 한계를 극복하고 세분화된 표현을 캡처하는 데 효과적입니다. UniME는 두 단계로 구성되어 있으며, 첫 번째 단계는 MLLM (Multimodal Language Model)을 사용하여 이미지와 텍스트의 잠재 표현을 생성하는 것이고, 두 번째 단계에서는 MLLM을 세밀하게 조정하여 더 나은 다중 모달 표현을 얻습니다. 이를 통해 UniME는 CLIP보다 성능이 우수하며 미세한 의미를 더 잘 파악할 수 있습니다. UniME는 미세한 이미지와 텍스트 관계를 이해하는 가장 적합한 방법을 찾기 위해 노력합니다.

<Mark Tech Post 뉴스 본문 전체읽기>