Скачать или смотреть Математические постановки задач обучения LLM, RL, федеративная оптимизация. Александр Безносиков.

Градиентный спуск изобрёл Коши в 1847 году. Метод тяжёлого шарика из 1964-го сейчас в PyTorch. Adam — это momentum + адаптивность. Искусственный интеллект — не магия, а красивые математические трюки. Разбираемся, какие именно.

Александр Безносиков — кандидат физ.-мат. наук, заведующий четырьмя лабораториями (МФТИ, МФТИ-Яндекс, ИСП РАН, Иннополис), лауреат премий «Лидеры ИИ» и Yandex ML Prize, автор 75+ статей — показывает математику под капотом ML: от оптимизации до дифференциальной приватности и обучения с подкреплением.

⏱️ Таймкоды:
0:00 — Вступление, конференция «Математика добра»
1:15 — Представление Александра Безносикова
2:28 — Сюжет 1: Ускорение — задачи оптимизации
4:55 — Аналитическое решение vs итеративный подход
7:51 — Коши (1847) и изобретение градиентного спуска
10:06 — Борис Полик и теория сходимости
12:43 — Метод тяжёлого шарика: ускорение в √ раз
18:22 — Как метод 1964 года оказался в PyTorch
25:09 — Сюжет 2: Адаптивность
27:28 — Субградиенты для негладких функций
31:04 — Немировский: проблема неизвестных констант
38:06 — AdaGrad: замена констант на вычисляемые значения
44:10 — RMSProp: метод из лекции Хинтона
46:28 — Adam: momentum + адаптивность
49:30 — DOG и Prodigy: методы без подбора гиперпараметров
52:36 — Сюжет 3: Дифференциальная приватность
56:42 — Пример Netflix: почему анонимизация не работает
1:00:46 — Выход не должен зависеть от одного объекта
1:06:49 — Зашумление как способ защиты
1:09:13 — Сюжет 4: Зеркальный спуск и RL
1:11:53 — Идея зеркального спуска
1:14:27 — KL-дивергенция для распределений
1:18:08 — Применение в обучении политик
1:20:41 — Вопросы зрителей

Лекция в рамках благотворительной конференции «Математика добра». Александр выбрал фонд развития математики и информатики в МФТИ: https://fund.mipt.ru/capitals/ck6/

Telegram (анонсы и розыгрыши): https://t.me/mathloversclub28
Подробнее о конференции (расписание и бонусы): https://www.notion.so/mathloversclub/...
Все записи конференции — в нашем профиле на Stepik: https://stepik.org/users/645988571/teach

#машинноеобучение #математика #градиентныйспуск #Adam #нейросети