Autoregressive (AR) 모델은 언어 생성에서 큰 발전을 이루었으며 이미지 합성에도 점차적으로 활용되고 있다. 그러나 AR 모델을 고해상도 이미지로 확장하는 것은 여전히 지속적인 과제로 남아있다. 텍스트와는 달리 고해상도 이미지는 수천 개의 토큰이 필요하며, 이는 계산 비용이 제곱으로 증가하게 된다. 결과적으로 대부분의 AR 기반 멀티모달 모델은 고해상도 이미지에 대한 확장성을 갖추지 못하고 있다. Meta AI는 이 문제에 대처하기 위해 이미지 토큰을 줄이는 간단한 AI 접근 방법인 Token-Shuffle을 소개하였다.

<Mark Tech Post 뉴스 본문 전체읽기>