Разработчики Stable diffusion представили нейросеть для создания видеороликов по текстовым подсказкам
Стартап Runway AI, известный своим участием в создании Stable Diffusion, представил нейросеть, способную генерировать по текстовому описанию короткие видеоролики.
Генеративная нейросеть называется Gen-2 и способна создавать короткие видео, опираясь на текстовое описание всего из нескольких слов. ИИ-алгоритм генерирует 3-секундное видео с нуля без упора на какие-либо изображения. Однако в дополнение к этому пользователь может загрузить изображение, которое станет для алгоритма своеобразной подсказкой.
К сожалению, в отличие от своего предшественника, Stable Diffusion, нейросеть Gen-2 не будет с самого начала открыта или широкодоступна из различных соображений. Вместо этого пользователи могут получить доступ к технологии искусственного интеллекта через Discord, присоединившись к очереди на веб-сайте Runway.
Сейчас видео, которые генерируют Gen-1 и Gen-2 беззвучны. Runway AI проводит исследования в области генерации звука в надежде создать систему, которая будет автоматически генерировать не только изображения и видео, но и подходящий им звук.
