Теоретический туториал: Как учить большие языковые модели

Обзор основных идей создания LLM. Поговорили про данные, особенности архитектур, этапы обучения и методы его масштабирования. Туториал будет интересен специалистам в ML и DL, которые не занимаются обучением LLM или только погружаются в эту тему.
Спикер: Мурат Апишев, техлид поиска в Samokat.tech, ex-SberDevices, ex-Just AI, ex-Yandex
Модератор: Петр Гусев ML Lead в Deliveroo, экс-Яндекс: MLE в команде рекомендаций Яндекс.Медиасервисов

00:00 Знакомство
01:45 Сейчас "LLM" ≈ "AI"
03:25 Языковое моделирование
05:05 Промптинг LLM
09:55 Архитектура
26:00 Токенизация
31:35 Позиционное кодирование
34:47 Этапы обучения и Данные для обучения
51:15 Баланс между параметрами и данными
54:30 Масштабирование обучения
01:02:40 Эффективность обучения
01:15:10 Алгоритмы оптимизации
01:17:35 Эффективность дообучения
01:20:50 Качество генерации
01:23:30 Архитектура
01:27:40 Масштабирование обучения
01:27:50 Обработка длинного контекста
01:30:45 Мультимодальность
01:30:55 Оценка качества LLM

__________

Подписывайся на наши соц. сети:

LinkedIn UnionVK:   / unionvk  
Instagram UnionVK:   / unionvk_  
LinkedIn YNDX Family:   / yndx-family  
Instagram YNDX Family:   / yndxfamily  

#vk #яндекс #llm #ai #языковыемодели