На один промпт генерируется 4-секундное видео с частотой 24 кадра в секунду и разрешением 640×640 пикселей, пользователям доступно 16 эффектов анимации.
У пользователей нейросети Сбера Kandinsky 2.2 появилась возможность создавать видеоролики по текстовому описанию в режиме анимации. Генерация анимационных видеороликов работает в тестовом режиме и доступна самым активным пользователям Kandinsky 2.2, они уже начали получать приглашения.
До конца года оценить новые возможности нейросети смогут абсолютно все. Те пользователи, которые хотят попробовать новые возможности модели сейчас, могут оставить заявку на получение доступа в Telegram-боте.
Для того чтобы сгенерировать видео в режиме анимации, нужно описать текстом то, что хочется увидеть. Далее бот предложит на выбор 16 вариантов анимации сцены, а после этого нейросеть сгенерирует анимированный видеоролик. Также доступна генерация составных сцен: пользователь может ввести несколько текстовых описаний (до трёх), затем выбрать для каждого свою механику анимации, а после этого модель создаст «мини-фильм». Синтез одной секунды видео в среднем занимает около 20 секунд.
Основой для синтеза видео является модель генерации изображений по текстовым описаниям Kandinsky 2.2. Для расширения её возможностей реализовали разные виды анимации изображений, что позволило перемещать объекты, приближать и отдалять их, оживлять статику всеми возможными способами. В основе всех режимов анимации лежат функции image2image (перерисовка изображения по текстовому описанию) и inpainting/outpainting (дорисовка части изображения внутри и за его пределами), которые уже были реализованы в базовой модели.
Нейросеть разработали и обучили исследователи Sber AI совместно с учёными из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и компании SberDevices.
