MLLMs는 최근 세밀한 픽셀 수준 시각적 이해를 다루는 데 진전되어 정확한 영역 기반 편집 및 분할과 같은 작업에 확장되었습니다. 하지만 대부분의 기존 방법은 복잡한 아키텍처에 의존하며, 이는 비전 인코더 (예: CLIP), 분할 네트워크 및 추가 퓨전 또는 디코딩 모듈과 같은 별도의 구성 요소로 이루어져 있습니다. 이러한 복잡성으로 인해 성능 향상이 어려울 수 있습니다. 이에 바이트댄스와 WHU의 연구자들은 픽셀-SAIL이라는 단일 트랜스포머 모델을 제안했습니다. 이 모델은 7B MLLMs를 능가하는 성과를 보여주며, 픽셀 수준에서의 이해를 가능하게 합니다. 이러한 연구 결과는 복잡한 Vision-Language 파이프라인이 아직 필요한지에 대한 의문을 제기하고, 더 효율적이고 통합된 모델이 가능함을 시사합니다.

<Mark Tech Post 뉴스 본문 전체읽기>