Оптимизаторы нейронных сетей | SGD, RMSProp, Adam | keras.optimizers | НЕЙРОННЫЕ СЕТИ 8

⚠️ Все ссылки на мои платформы, курсы здесь: https://taplink.cc/machine_learrrning

Поддержать канал можно оформив подписку на
🎉 https://boosty.to/machine_learrrning
🎉 https://vk.com/machine_learrrning
🎉 А можете скидывать монеты на https://www.donationalerts.com/r/mach...


Канал в TG https://t.me/machine_learrrning
Группа в VK https://vk.com/machine_learrrning


Курсы на платформе Stepik:
1. Библиотеки Python для Data Science https://stepik.org/a/129105
2. Введение в нейронные сети (Keras/Tensorflow) https://stepik.org/a/127274


❓ Вопросы, на которые найдем ответы в этом видео:
- Какие есть оптимизаторы?
- Какие есть особенности в SGD, Momentum, AdaGrad, RMSProp, Adam?
- Какие есть преимущества и недостатки оптимизаторов?


🌟 Реализация модели линейная регрессия -    • РЕАЛИЗАЦИЯ ЛИНЕЙНОЙ РЕГРЕССИИ | Линей...  


🤖 Ноутбук из видео https://colab.research.google.com/dri...


0:00 Введение
0:19 План занятия
0:29 Поддержка https://taplink.cc/machine_learrrning

0:45 Задача на сегодня
1:38 Самая простая нейронная сеть
2:28 Визуализация ошибки MSE от весов нейронной сети

3:57 Градиентный спуск GD
4:17 Градиент ошибки MSE
6:06 Алгоритм градиентного спуска
7:12 Реализация градиентного спуска

10:11 Стохастический градиентный спуск SGD
10:57 Алгоритм стохастического градиентного спуска (SGD)
11:31 Реализация стохастического градиентного спуска (SGD)
13:37 Визуализация стохастического градиентного спуска

14:10 Mini-Batch стохастический градиентный спуск
14:44 Алгоритм Mini-Batch стохастического градиентного спуска
14:55 Реализация Mini-Batch стохастического градиентного спуска
16:01 Визуализация Mini-Batch стохастического градиентного спуска

16:27 Сравнение GD, SGD, Mini-Batch SGD
17:28 Визуальное сравнение GD, SGD, Mini-Batch SGD

18:32 SGD + Momentum, SGD с импульсом
22:28 Алгоритм SGD + Momentum
22:58 Реализация SGD + Momentum
24:36 Визуализация SGD + Momentum
25:13 Эксперименты с коэффициентом momentum SGD

26:51 SGD в Keras с momentum

27:22 AdaGrad
29:34 Алгоритм AdaGrad
30:03 Реализация AdaGrad
31:45 Визуализация AdaGrad
32:05 AdaGrad в Keras

32:30 RMSProp
33:42 Алгоритм RMSProp
34:15 Реализация RMSProp
35:41 Визуализация RMSProp
35:52 Эксперименты с коэффициентом в RMSProp
37:02 RMSProp в Keras

37:12 Adam
38:24 Алгоритм Adam
38:34 Реализация Adam
40:08 Визуализация Adam
40:21 Adam в Keras

40:30 Эксперимент с оптимизаторами в Keras
41:33 Зафиксировать веса при инициализации, чтобы они не были случайными
42:00 Архитектура сети
42:30 Оформление экспериментов с оптимизаторами
44:59 Отображаем на графике изменение функции потерь

45:59 Резюме занятия
46:08 Минусы и плюсы оптимизаторов

48:49 ♡