최근 몇 년간, 딥러닝 모델이 기억에서 일반화로의 지연된 전환을 보이는 현상인 ‘그록킹(Grokking)’이 주목받고 있다. 초기에는 모듈러 산술과 같은 작은 알고리즘 작업에서 발견된 그록킹은 모델이 훈련 정확도가 거의 완벽에 가까워지는 동시에 검증 성능이 여전히 낮은 수준을 유지하는 것을 보여준다. 이에 대해 마이크로소프트 연구원들은 옵티마이저가 이러한 지연된 일반화에 미치는 영향을 탐구하면서 Muon Optimizer가 트랜스포머의 이해를 혁신적으로 가속화하는 것을 발견했다. Muon Optimizer는 Grokking Transformer를 가속화하며, 이로 인해 더 나은 일반화와 효율성을 이끌어냈다.

<Mark Tech Post 뉴스 본문 전체읽기>