샤오미, 1조 매개변수 모델로 초당 1000개 토큰 처리 성공
샤오미의 MiMo 팀이 TileRT와 협력하여 MiMo-V2.5-Pro-UltraSpeed라는 새로운 서빙 모드를 발표했습니다. 이 모드는 1조 개의 매개변수를 가진 MiMo-V2.5-Pro 모델을 기반으로 하며, 단일 8-GPU 상용 노드에서 초당 1000개 이상의 토큰을 디코딩할 수 있는 성능을 자랑합니다. 이러한 기술 발전은 인공지능 및 머신러닝 분야에서의 응용 가능성을 더욱 넓히고 있으며, 샤오미는 이 모델을 통해 AI 인프라의 새로운 기준을 제시하고 있습니다.
출처: Mark Tech Post
요약번역: 미주투데이 김지호 기자