Скачать или смотреть Атрибуция движения для создания видео

Атрибуция движения для генерации видео

Синди Ву, Деспоина Паскалиду, Цзюнь Гао, Антонио Торральба, Лаура Леал-Тайше, Ольга Руссаковская, Санья Фидлер, Джонатан Лоррейн

Несмотря на быстрый прогресс моделей генерации видео, роль данных в воздействии на движение остается малоизученной. Мы представляем Motive (MOTIon attribution for Video gEneration) — ориентированную на движение, основанную на градиентах структуру атрибуции данных, которая масштабируется до современных, больших, высококачественных наборов данных видео и моделей. Мы используем ее для изучения того, какие клипы тонкой настройки улучшают или ухудшают временную динамику. Motive изолирует временную динамику от статического изображения с помощью масок потерь, взвешенных по движению, обеспечивая эффективное и масштабируемое вычисление влияния, специфичного для движения. В моделях преобразования текста в видео Motive идентифицирует клипы, которые сильно влияют на движение, и направляет обработку данных, которая улучшает временную согласованность и физическую правдоподобность. Используя данные с высоким уровнем влияния, отобранные с помощью Motive, наш метод улучшает как плавность движения, так и динамическую составляющую на VBench, достигая 74,1% успеха в выборе предпочтений человека по сравнению с предварительно обученной базовой моделью. Насколько нам известно, это первая система, которая в моделях генерации видео учитывает движение, а не визуальный вид, и использует его для отбора данных для тонкой настройки.

https://arxiv.org/abs/2601.08828