Скачать или смотреть Сопоставление потоков для генеративного моделирования (с пояснениями в статье)

Метод сопоставления потоков (Flow Matching) является более общим методом, чем метод диффузии, и служит основой для таких моделей, как Stable Diffusion 3.

Документ: https://arxiv.org/abs/2210.02747

Аннотация:
Мы представляем новую парадигму генеративного моделирования, основанную на непрерывных нормализующих потоках (CNF), что позволяет нам обучать CNF в беспрецедентных масштабах. В частности, мы представляем понятие Flow Matching (FM) – подхода, не требующего моделирования, для обучения CNF, основанного на регрессионных векторных полях фиксированных условных вероятностных траекторий. Flow Matching совместим с общим семейством гауссовых вероятностных траекторий для преобразования между шумовыми выборками и выборками данных, что позволяет рассматривать существующие диффузионные траектории как конкретные примеры. Интересно, что мы обнаружили, что использование FM с диффузионными траекториями приводит к более надежной и стабильной альтернативе для обучения диффузионных моделей. Более того, Flow Matching открывает возможности обучения CNF с другими, не диффузионными вероятностными траекториями. Особый интерес представляет использование интерполяции смещения по оптимальному транспорту (OT) для определения условных вероятностных путей. Эти пути более эффективны, чем пути диффузии, обеспечивают более быстрое обучение и выборку, а также приводят к лучшему обобщению. Обучение CNF с использованием Flow Matching на ImageNet обеспечивает стабильно более высокую производительность по сравнению с альтернативными методами, основанными на диффузии, как с точки зрения правдоподобия, так и качества выборки, и позволяет быстро и надежно генерировать выборки с использованием готовых численных решателей ОДУ.

Авторы: Ярон Липман, Рики Ти Кью Чен, Хели Бен-Хаму, Максимилиан Никель, Мэтт Ле

Ссылки:
Главная: https://ykilcher.com
Товары: https://ykilcher.com/merch
YouTube:    / yannickilcher  
Twitter:   / ykilcher  
Discord: https://ykilcher.com/discord
LinkedIn:   / ykilcher  

Если хотите поддержать меня, лучше всего поделиться контентом :)

Если хотите поддержать меня финансово (это совершенно необязательно и добровольно, но многие просили об этом):
SubscribeStar: https://www.subscribestar.com/yannick...
Patreon:   / yannickilcher  
Биткоин (BTC): bc1q49lsw3q325tr58ygf8sudx2dqfguclvngvy2cq
Эфириум (ETH): 0x7ad3513E3B8f66799f507Aa7874b1B0eBC7F85e2
Лайткоин (LTC): LQW2TRyKYetVC8WjFkhpPhtpbDM4Vw7r9m
Monero (XMR): 4ACL8AGrEo5hAir8A9CeVrW8pEauWvnp1WnSDZxW7tziCDLhZAGsgzhRQABDnFy8yuM9fWJDviJPHKRjV4FWt19CJZN9D4n