Скачать или смотреть Магистратура по направлению «Трансформаторы и диффузия»: какая связь?

Диффузионные модели языка (LLM) — это новая парадигма генерации текста; они постепенно преобразуют бессмысленную тарабарщину в связный ответ. Но как они связаны с «Трансформерами»?

В этом видео я рассказываю о том, как «Трансформеры» превратились из простого инструмента машинного перевода в универсальную основу современного искусственного интеллекта, обеспечивающую работу всего: от моделей авторегрессии, таких как GPT, до моделей на основе диффузии, таких как LLaDA.

Мы шаг за шагом рассмотрим:
• Как на самом деле работает архитектура Transformer (кодер, декодер, внимание)
• Почему внимание заменило повторение в обработке естественного языка
• Чем обучение GPT отличается от генерации текста на основе диффузии
• Как моделирование языка с маскировкой в ​​BERT вдохновило на программы магистратуры по диффузии
• Подробное описание процесса маскированной диффузии в LLaDA

Если вы здесь впервые, посмотрите мои предыдущие видео, чтобы получить интуитивное введение в модели диффузии и узнать, как физическая диффузия вдохновила их:    • Diffusion models  

📚 Бесплатная презентация:   / juliaturc  
📚 Статьи:
• Оригинал GPT: https://cdn.openai.com/research-cover...
• BERT: https://arxiv.org/abs/1810.04805
• LLaDA: https://arxiv.org/abs/2502.09992
▶️ Моё предыдущее видео о «Трансформерах»:    • Transfer learning and Transformer models (...  

00:00 Вступление
01:25 История происхождения «Трансформера»
03:52 Проблема выравнивания и внимание
06:26 Архитектура: кодер против декодера
11:25 Авторегрессивные LLM и GPT
16:09 Классификация текста и BERT
18:51 Диффузионные LLM и LLaDA
24:17 Заключение