Скачать или смотреть Обучаемый ремаскер для немарковской маскированной диффузии

Семинар BayesGroup «Обучаемый ремаскер для немарковской маскированной диффузии» от 14.10.2025. Докладчик: Артём Макоян (Constructor University of Bremen, JetBrains)

Диффузионные модели – современное SOTA в задачах для генерации картинок. Однако они до сих пор не могут сравняться с авторегрессионными моделями в генерации текстов. Теоретически, они обладают возможностью исправлять свои ошибки в процессе генерации в отличие от авторегрессионных моделей, которые генерируют токены слева-направо. Но на практике, современные модели маскированной диффузии не могут исправлять токен, который они уже демаскировали, тем самым теряя свое фундаментальное преимущество. Мы представляем новый метод генерации, имеющий возможность исправлять сделанные ошибки и требующий дообучения лишь одного слоя. В нашей работе мы показываем, что предлагаемый метод ремаскации токенов значительно ускоряет процедуру генерации и улучшает качество получаемого текста по сравнению с альтернативными подходами, а также позволяет добиться прироста на бенчмарках для больших текстовых диффузионных моделей.