Скачать или смотреть Krea Realtime 14B: генерация длинных видео с помощью ИИ в реальном времени

В статье представлен выпуск *Krea Realtime 14B**, значимой модели с 14 миллиардами параметров, разработанной для **генерации видео в реальном времени, длинноформатного ИИ**. Эта модель более чем в десять раз больше существующих моделей видео в реальном времени и направлена ​​на создание высокоуправляемых и отзывчивых креативных инструментов, позволяющих пользователям изменять подсказки и менять стиль видео по мере того, как кадры возвращаются к ним с задержкой всего в одну секунду. Чтобы добиться возможностей потоковой передачи в реальном времени, исследователи преобразовали стандартную модель параллельной диффузии видео (Wan 2.1 14B) в **авторегрессивную* (или причинно-следственную) архитектуру, используя метод дистилляции, называемый *Самоусиление**. Самоусиление имеет решающее значение, поскольку оно решает **смещение экспозиции**, проблему, при которой модель, обученная на чистых данных, не справляется с несовершенным контекстом, предоставленным ее собственными предыдущими поколениями во время вывода, что часто приводит к каскадным ошибкам. Масштабирование этой технологии до параметров 14B потребовало существенных инноваций в области памяти и инженерных разработок, включая динамическую очистку кеша KV во время обучения. Более того, для обеспечения стабильности при непрерывной генерации длинных форм — сценарии, выходящем за рамки контекста обучения модели — команда разработала новые методы вывода, такие как **KV Cache Recomputation* и **KV Cache Attention Bias**, которые эффективно смягчают такие постоянные проблемы, как сдвиг распределения «первого кадра» и широкое **накопление ошибок**. В конечном счёте, Krea Realtime 14B представляет собой переход от статической, «однократной» генерации к гибкому, совместному и высококонтролируемому созданию видео.

https://www.krea.ai/blog/krea-realtim...

https://github.com/krea-ai/realtime-v...