Разработчики Stable diffusion представили нейросеть для создания видеороликов по текстовым подсказкам

Стартап Runway AI, известный своим участием в создании Stable Diffusion, представил нейросеть, способную генерировать по текстовому описанию короткие видеоролики.

Генеративная нейросеть называется Gen-2 и способна создавать короткие видео, опираясь на текстовое описание всего из нескольких слов. ИИ-алгоритм генерирует 3-секундное видео с нуля без упора на какие-либо изображения. Однако в дополнение к этому пользователь может загрузить изображение, которое станет для алгоритма своеобразной подсказкой.

К сожалению, в отличие от своего предшественника, Stable Diffusion, нейросеть Gen-2 не будет с самого начала открыта или широкодоступна из различных соображений. Вместо этого пользователи могут получить доступ к технологии искусственного интеллекта через Discord, присоединившись к очереди на веб-сайте Runway.

Сейчас видео, которые генерируют Gen-1 и Gen-2 беззвучны. Runway AI проводит исследования в области генерации звука в надежде создать систему, которая будет автоматически генерировать не только изображения и видео, но и подходящий им звук.