Gen-1: новая модель преобразования видео с изменением стилизации

Стартап Runway, ранее разработавший популярную нейросеть Stable Diffusion, представил новую модель преобразования видео.

Она способна генерировать новые ролики из существующих видео при помощи текстового описания и изображений с возможностью изменения стиля и композиции кадра:

Наша модель обучается на изображениях и видео, что также позволяет явно контролировать временную согласованность при помощи нового метода наведения. Наши эксперименты демонстрируют широкий спектр успехов: тонкий контроль над выходными характеристиками, настройка на основе нескольких эталонных изображений и предпочтение пользователей к результатам, полученным с помощью нашей модели.

Существует пять возможных режимов:

• Стилизация
• Раскадровка
• Маска
• Рендеринг
• Персонализация

Недавно известный режиссёр Карен Ченг протестировала этот инструмент и опубликовала свои результаты: