15 марта 2025

eur = 93.61 -0.65 (-0.69 %)

btc = 84 540.00$ 2 466.83 (3.01 %)

eth = 1 914.58$ 27.62 (1.46 %)

ton = 2.92$ 0.10 (3.42 %)

usd = 85.57 -1.05 (-1.21 %)

eur = 93.61 -0.65 (-0.69 %)

btc = 84 540.00$ 2 466.83 (3.01 %)

Сбер представил новую версию генеративной модели Kandinsky 2.2

2 минуты на чтение
Сбер представил новую версию генеративной модели  Kandinsky 2.2

Вышла новая версия генеративной нейросети от Сбера, создающей изображения по текстовым описаниям — Kandinsky 2.2.

Архитектуру изменили незначительно: увеличили визуальный энкодер для обучения модели Image Prior на CLIP ViT-G, это повысило качество синтеза изображений. Это потребовало переучить модель модель (1 млн итераций) и заново настроить диффузионную часть U-Net (200 тыс. итераций). Модель учили на изображениях с длинами сторон от 512 до 1536 пикселей и различным соотношением.

Основные улучшения проявляются в возможностях новой версии:

  • Теперь можно генерировать картинки со сторонами по 1024 пикселя (в предыдущей версии — 768 пикселей).
  • Соотношение сторон теперь может быть любым (раньше были только квадратные).
  • В настройках можно включить эффект фотореализма.
  • Теперь благодаря функциональности ControlNet можно изменять отдельные свойства изображения без изменения всей композиции.

Остановимся подробнее на последней функции. Дело в том, что синтез изображений в любых генеративных сетях никак не управляется человеком. Даже если вы тщательно продумали текстовое описание (промт), то наверняка конечный результат будет отличаться от ожидаемой вами картинки. Чтобы тоньше управлять работой нейросети, в Kandinsky 2.2 добавлена функциональность ControlNet. Благодаря ей вы теперь можете менять положение какого-нибудь элемента картинки, корректировать его форму, позу, размеры и границы, при этом не меняя всё остальное изображение.

Например:

Эволюция детализации на изображениях, созданных в трёх последних версиях Kandinsky:

Также новая версия распознаёт в промтах смайлы и учитывает их при генерировании.

Как можно поэкспериментировать с Kandinsky 2.2:

  1. Генерация изображения по промту.
  2. Смешивание изображений.
  3. Генарация изображений, похожих на референсное.
  4. Изменение изображений по промту.
  5. Генерация стикеров.
  6. Изменение изображения с помощью функции ControlNet.

Вы можете выбрать один из трёх стилей для генерирования картинки:

  1. Устреднённая стилистика изображений с агрегатора artstation.com.
  2. Высокое разрешение (до 4К).
  3. В стиле аниме.
  • с помощью фреймворка diffusers;
  • на сайте fusionbrain.ai (по промту и в режимах inpainting и outpainting);
  • на платформе MLSpace в хабе предобученных моделей и датасетов DataHub;
  • в навыке Салют «Включи художника»;
  • в боте в VK.

Веса модели, по которым можно оценить качество генерирования, доступны здесь:

Дополнительные технические подробности вы можете почерпнуть из статьи на Хабре.

Дальнейшее развитие

В работе уже находится следующая версия Kandinsky, но пока мы не будем раскрывать, что в ней будет изменено. Главное, что качество изображений станет ещё выше. Также мы поддерживаем развитие российского и международного сообщества Kandinsky. Благодаря им выходят интересные проекты, например, Web-GUI for Kandinsky 2.X.

Разработчики

Kandinsky 2.2 была разработана и обучена исследователями команды Sber AI при партнёрской поддержке учёных из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и компании SberDevices.

Авторы: Арсений Шахматов (главный контрибьютор), Антон Разжигаев, Владимир Архипкин, Игорь Павлов, Ангелина Куц, Андрей Кузнецов, Денис Димитров.

Читать первым в Telegram-канале «Код Дурова»

Важные новости коротко — от GigaChat Max 
1-bg-изображение-0
img-content-1-изображение-0

GigaChat Max: коротко о главном

Как изменился Код Дурова вместе с GigaChat Max?

Узнай о всех возможностях в FAQ-статье 
ec907872-bf38-474c-9b36-2bb1ef484d8b-изображение-0cbd9a2ac-fd7e-4f3a-8d92-bd6c322bc0b8-изображение-15938d5a8-fd15-41be-8ed1-4fba89b2b95c-изображение-2

GigaChat Max: коротко о главном

Aqara представила главные новинки для умного дома

Полная версия 
dc9f3dcd-df29-4ded-8c4a-2186f3306265-изображение-0d4d3e0fd-0b56-40d5-98a8-c60dc6cdbd86-изображение-1d277a3a6-ae88-4b9f-9c03-7457df958168-изображение-2

GigaChat Max: коротко о главном

TON Diamonds и Getgems стали стратегическими партнёрами

Полная версия 

Реализовано через GigaChat Max 

Сейчас читают
Карьера
Блоги 322
билайн
Газпромбанк
МТС
X5 Tech
Т-Банк
Сбер
Яндекс Практикум
Ozon Tech
Циан
Банк 131