StyleCLIP: Text-Driven Manipulation of StyleGAN Imagery

Известная архитектура StyleGAN позволяет генерировать реалистичные изображения в различных доменах. Большая часть недавних работ была сосредоточена на понимании того, как использовать латентные пространства StyleGAN для модификации сгенерированных и реальных изображений. На семинаре мы обсудим предложенный авторами статьи подход с использованием архитектуры CLIP (Contrastive Language-Image Pre-training). Авторам удалось скомбинировать StyleGAN и CLIP для интерактивного изменения изображения на основе поданного на вход модели текста. Данный подход не требует размеченных парных датасетов для каждого вида манипуляций, а также позволяет без ручного подбора параметров модифицировать исходные изображения.

Докладчик: Дарья Евсикова