Скачать или смотреть Muon: Обучение ИИ в два раза быстрее

https://kellerjordan.github.io/posts/...

https://github.com/KellerJordan/Muon

https://arxiv.org/pdf/2502.16982

В представленном техническом отчете подробно описывается разработка и масштабирование Muon, усовершенствованного алгоритма оптимизации, предназначенного для обучения больших языковых моделей. В то время как предыдущие версии Muon были ограничены задачами малого масштаба, исследователи ввели уменьшение весов и попарную корректировку масштаба параметров для обеспечения стабильности при миллиардах параметров и триллионах токенов. Эти усовершенствования позволяют Muon достичь примерно в 2 раза большей вычислительной эффективности, чем стандартный для отрасли оптимизатор AdamW. Для демонстрации этих возможностей авторы выпустили Moonlight, модель Mixture-of-Expert с 16 миллиардами параметров, которая устанавливает новый рубеж Парето для производительности относительно затрат на обучение. В отчете также представлена ​​распределенная реализация оптимизатора, которая оптимизирует использование памяти и накладные расходы на связь в больших кластерах. В заключение, результаты показывают, что, хотя Muon значительно улучшает предварительное обучение, его преимущества наиболее заметны при последовательном использовании как на этапе предварительного обучения, так и на этапе контролируемой тонкой настройки.

#ai #research #muon #artificialintelligence #largelanguagemodels #architecture