Mixture-of-Experts (MoE) 모델은 추론 비용을 제어하면서 모델 용량을 확장하는 데 중요하다. CLIP와 같은 다중 모달 모델에 MoE를 통합하면 성능이 향상되지만 이러한 모델을 훈련하는 것은 매우 어렵고 비싸다. 저희는 사전 훈련된 밀집형 CLIP 모델을 희소 MoE 아키텍처로 변환하는 효율적인 대체 훈련 전략인 CLIP-Upcycling (CLIP-UP)을 제안한다. 다양한 설정과 보조 손실을 활용한 방대한 실험을 통해 CLIP-UP은 훈련 복잡성과 비용을 현저히 줄이는 것을 보여준다. 놀랍게도, 저희의 희소 CLIP B/16 모델은…

<Apple 뉴스 본문 전체읽기>