Apple의 연구팀은 네이티브 다중 모달 모델(NMMs)에 대한 스케일링 법칙을 탐구했다. 현재 다중 모달 모델은 각각을 사전 훈련된 구성 요소를 통합하는 방식을 사용하는데, late-fusion 아키텍처의 우월성 여부는 여전히 논란 중이다. 이 연구에서는 모든 modalities에 대해 처음부터 훈련된 모델인 NMMs의 구조적 설계를 재방문하고 있다. 이에 따라, NMMs는 다양한 모달리티(시각, 언어, 음성 등)에 대한 정보를 통합하는 방법을 학습하며, 이를 통해 성능을 향상시킬 수 있을 것으로 기대된다. 또한, NMMs는 최신 다중 모달 pre-training 모델보다 우수한 성능을 보일 수 있다고 한다.

<Apple 뉴스 본문 전체읽기>