디퓨전 트랜스포머는 텍스트에서 이미지로의 합성에 널리 사용되고 있다. 그러나 이러한 모델을 수십억 개의 파라미터로 확장하는 것은 유망해 보이지만, 현재 크기를 넘어서는 스케일링의 효과는 여전히 탐구되지 않고 어렵다. 이러한 도전에 대응하기 위해 이미지 생성의 계산적 이질성을 명시적으로 이용하여 전문가 선택 라우팅을 사용하는 새로운 MoE 모델인 EC-DIT를 개발했다. EC-DIT는 입력 텍스트를 이해하고 해당 이미지 패치를 생성하기 위해 할당된 계산을 적응적으로 최적화하는 방법을 학습한다. 이를 통해 이 모델은 이미지 생성 작업에 필요한 계산을 효율적으로 분배하고, 모델의 전체적인 성능을 향상시킨다.

<Apple 뉴스 본문 전체읽기>