Языковые модели для чайников: просто и полезно про BERT и GPT | Вебинар 2021-02-18

Языковые модели для чайников: просто и полезно про BERT и GPT
0:00 что сегодня будет
3:52 про автора
5:41 примеры и типы задач NLP
15:00 логистическая регрессия, мать всех нейросетей
33:28 проблема переобучения: почему просто больших моделей мало
43:45 эмбеддинги как простейшая предобученная модель
1:02:00 контекстные эмбеддинги
1:10:43 философия transfer learning
1:25:37 задумка и устройство BERT (и вообще трансформеров)
1:42:16 насадки на BERT для разных задач
1:52:24 блокнот с NER на BERT (shorturl.at/ksyN8)
2:16:28 GPT - универсальный генератор текстов
2:21:13 блокнот с генерацией из GPT твитов и диалога (shorturl.at/tuP68)
2:28:21 для каких задач нужна генерация текстов
2:29:35 методы управления генерацией
2:32:55 полезные ресурсы и ответы на вопросы

Занятие проводит Давид Дале (https://daviddale.ru). Если вы хотите поблагодарить спикера, можете сделать донат удобным вам способом на https://sobe.ru/na/donate_lm_vebinar_...

Больше информации:
Чат Боткэмп про чатботы https://t.me/botcamp_community
Канал Матчасть про анализ данных и прикладную математику https://t.me/matchast
Чат про NLP на русском: https://t.me/natural_language_processing

Ставьте лайки, задавайте в комментариях вопросы, предлагайте темы для новых вебинаров!