Стартап Runway, ранее разработавший популярную нейросеть Stable Diffusion, представил новую модель преобразования видео.
Она способна генерировать новые ролики из существующих видео при помощи текстового описания и изображений с возможностью изменения стиля и композиции кадра:
Наша модель обучается на изображениях и видео, что также позволяет явно контролировать временную согласованность при помощи нового метода наведения. Наши эксперименты демонстрируют широкий спектр успехов: тонкий контроль над выходными характеристиками, настройка на основе нескольких эталонных изображений и предпочтение пользователей к результатам, полученным с помощью нашей модели.
Существует пять возможных режимов:
- Стилизация
- Раскадровка
- Маска
- Рендеринг
- Персонализация
Недавно известный режиссёр Карен Ченг протестировала этот инструмент и опубликовала свои результаты:
Читать первым в Telegram-канале «Код Дурова»
