В Китае разработали нейросеть, способную генерировать короткие видео по заданному тексту

Китайские специалисты разработали нейросеть под названием CogVideo. С её помощью можно по текстовому описанию создать короткие видео (GIF) с частотой кадров 32 за 4 секунды.

Ввод исходного текста осуществляется на китайском языке. Пока что на GitHub опубликовали лишь примеры созданных видео и раскадровку. Алгоритм обучен на 5,4 миллионах пар текстов-видео.

Нейросеть использует наработки DALL-E 2 от OpenAI и Imagine от Google, последняя генерирует картинки по текстовому описанию, а DALL-E 2 улучшает их качество.