Лекция №7 "Оптимизация нейронных сетей"

Седьмое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для группы НС262 шестого потока обучения.
Преподаватель: Артём Васильев
Дата: 23.11.2023

00:00 Заставка
00:52 Трудности при обучении глубоких нейронных сетей
19:06 Затухание градиента
24:37 Нормализация входов и выходов
24:57 Нормализация входных данных
26:12 Нормализация целевых значений в задаче регрессии
31:37 Инициализация весов
38:09 Инициализация Ксавье (Xavier Glorot)
40:37 Инициализация Каймин Хе (Kaiming He)
41:18 Важность инициализации весов
43:50 Ортогональная инициализация
45:20 Инициализация весов в PyTorch
50:39 Слои нормализации
50:48 Internal covariate shift
57:41 Batch Normalization
01:33:07 Другие Normalization
01:45:34 Регуляризация
01:46:40 L1, L2 регуляризации
01:49:55 Dropout
02:05:50 DropConnect
02:05:58 DropBlock
02:07:22 Batch Normalization до или после Dropout
02:09:08 Оптимизация параметров нейросетей
02:09:21 Обзор популярных оптимизаторов
02:38:41 Режимы обучения
02:39:03 Ранняя остановка
02:48:37 Neural Network WarmUp
02:50:09 Cyclical learning schedule
02:54:09 Model soup
02:57:28 Взаимодействие learning schedule и адаптивного изменения learning rate

Материалы лекции:
Открыть в Colab: https://colab.research.google.com/dri...
Открыть в HTML-формате: https://msu.ai/how_to_train_nn

Сайт: https://msu.ai
VK: https://vk.com/msu_ai
Telegram: https://t.me/msu_ai_channel
Лекция на Rutube: https://rutube.ru/video/1e4bb1e1dd791...
Лекция на VK видео: https://vk.com/video-204135333_456239222

#MSU_AI#Фонд_Интеллект