최근에 제안된 증류 스케일링 법칙은 학생과 선생님 간의 컴퓨팅 예산 및 할당을 기반으로 증류된 모델 성능을 예측하는 법칙이다. 이러한 발견은 학생 성능을 극대화하기 위해 컴퓨팅 최적 할당을 허용함으로써 대규모 증류와 관련된 위험을 완화한다. 특히, 이미 선생님이 존재하는 경우와 선생님이 훈련이 필요한 경우에 대한 컴퓨팅 최적 증류 레시피를 제시한다. 이러한 설정에서 많은 학생이나 기존 선생님이 포함된 경우, 증류는 컴퓨팅 수준까지 지도 학습을 능가한다. 이 연구는 모델 성능을 향상시키는 증류 과정에서의 컴퓨팅 자원 할당의 중요성을 강조하며, 더 나은 모델 개발을 위한 유용한 안내를 제공한다.

<Apple 뉴스 본문 전체읽기>