Скачать или смотреть Введение в смешанный подход | Разъяснение оригинальной статьи Министерства образования

В этом видео мы возвращаемся к чрезвычайно важной статье Google, в которой был представлен слой «Смесь экспертов» (MoE), авторами которой является Джеффри Хинтон.
Статья называется «Невероятно большие нейронные сети: слой «Смесь экспертов» с редкими гейтами (Sparsely-Gated Mixture-of-Experts Layer). MoE сегодня широко используется в различных ведущих больших языковых моделях и, что интересно, была опубликована в начале 2017 года, в то время как статья Attention All You Need, в которой был представлен Transformers, была опубликована позже в том же году, также Google. Цель этого видео — понять, почему метод «Смесь экспертов» важен и как он работает.

Страница статьи — https://arxiv.org/abs/1701.06538
Запись в блоге — https://aipapersacademy.com/mixture-o...

----------------------------------------------------------------------------------------------
✉️ Подпишитесь на рассылку — https://aipapersacademy.com/newsletter/

Стать спонсором —   / aipapersacademy  

👍 Поставьте лайк и подпишитесь, если вам понравился этот контент.
----------------------------------------------------------------------------------------------

Главы:
0:00 Зачем нужен MoE?
1:33 Разреженный слой MoE
3:41 Рисунок бумаги MoE