Скачать или смотреть Intro to Contrastive Learning: теория, интуиция и современные подходы

Комплексный разбор фундаментальных и современных методов contrastive learning — от основных формулировок задачи и построения loss-функций до сравнительного анализа SimCLR, MoCo, BYOL и SimSiam. Особое внимание Алина Бурыкина, ML инженер компании Mad Devs, уделяет в своем докладе матричной интерпретации loss, нюансам работы с аугментациями и архитектурой проектирующих голов.

Доклад охватывает проблемы вычислительной эффективности, стратегий hard negative sampling, memory bank vs momentum encoder, вопросы предотвращения коллапса представлений и диагностики качества эмбеддингов через down-stream задачи.

Видео будет полезно всем, кто хочет разобраться в сути и инженерных тонкостях современных self-supervised подходов в ML.

ВНИМАНИЕ❗️
Запись начинается не с самого начала мероприятия. Часть вступления или начальной дискуссии может отсутствовать.

-------------------------------------------------------------------------------

ТАЙМ-КОДЫ
0:00 - 3:02 Введение и задачи предобучения
3:02 - 4:23 Контрастивное обучение и преимущества
4:23 - 9:17 Теория информации и энтропии
9:17 - 14:28 Мотивация и механизм contrastive loss
14:28 - 16:12 Оптимизация, batch size, проблемы
16:12 - 18:49 Аугментации и архитектура
18:49 - 21:35 Сеть, прожектор и оптимизация
21:35 - 25:52 Аугментации и влияние на качество
25:52 - 30:30 Роль прожектора и архитектура
30:30 - 33:32 Методы MOCO, memory bank, сравнение
33:32 - 37:33 Трюки: hard negative mining, уменьшение batch size
37:33 - 43:58 Методы без негативов, дистилляция, роль предиктора
43:58 - 51:33 KNN, оптимизация, выводы

-------------------------------------------------------------------------------

ССЫЛКИ 🔗
Telegram [Mad ML Talks] - https://t.me/MadML_Talks
Telegram [Mad Devs Channel] - https://t.me/maddevsio​
Facebook -   / maddevsllc  
Instagram -   / maddevsio  
X [ex.Twitter] - https://x.com/MadDevsIO

#machinelearning #ml #машинноеобучение #contrastivelearning