Скачать или смотреть [Диффузионные модели] Mercury против GPT-4o Mini: почему диффузионные модели в 10 раз быстрее ген...

Mercury: Сверхбыстрые модели языка диффузии для кодирования. В 10 раз быстрее, чем Transformers.

Подкаст содержит технический обзор достижений в области дискретных моделей диффузии для генерации языка, представляя альтернативы традиционно доминирующим моделям авторегрессии (ARM). В первой статье представлена ​​модель Diffusion-LM, демонстрирующая превосходную производительность в различных задачах управляемой генерации, таких как контроль синтаксической структуры и заполнение текстом, часто превосходя методы plug-and-play и тонкую настройку оракулов. Во второй статье подробно описываются модели дискретной диффузии на основе энтропии с оценкой (SEDD), которые используют энтропию с оценкой для определения коэффициентов распределения данных, достигая производительности, сопоставимой с ARM, такими как GPT-2, в основных задачах моделирования языка. Наконец, третий и четвертый источники обсуждают моделирование языка маскированной диффузии (MDLM) и LLaDA соответственно, показывая, что эти методы маскированной диффузии при правильной разработке и масштабировании до миллиардов параметров демонстрируют высокую масштабируемость, возможности контекстного обучения и следования инструкциям, успешно оспаривая предположение о том, что основные возможности большой языковой модели (LLM) присущи исключительно ARM.