이 논문은 이미지의 시각적 이해가 작업에 따라 달라진다는 점을 강조하며, 이미지 인코딩이 다양한 시각 정보를 우선순위에 따라 처리할 수 있는 능력을 제시한다. FocalLens라는 모델은 Instruction Tuning을 통해 이미지의 특정 부분에 초점을 맞추는 능력을 제공함으로써, 제로샷 조건부 이미지 표현을 가능케 한다. 예를 들어, 사람이 꽃다발을 들고 있는 이미지가 주어졌을 때, 관심 대상이 되는 컨텍스트에 따라 사람의 옷 또는 꽃 종류 중 어느 것에 초점을 맞출지 결정할 수 있다. 이러한 모델은 다양한 다운스트림 사용 사례에 따라 시각 정보를 조정하는 데 유용하다. 이 논문은 Foundation Models in the Wild 워크샵에서 받아들여졌으며, 이미지 인코딩의 패러다임에 혁신적인 접근을 제시하고 있다.

<Apple 뉴스 본문 전체읽기>