Новые нейросети OpenAI способны создавать изображения по запросу и определять объекты на фото
В OpenAI разработали две новые нейросети. Одна из них, которая называется DALL-E, создаёт изображения, фотографии и рендеры на основе простого описания. А вторая, CLIP, определяет объекты и классифицирует их, основываясь на простом описании.
Изображения, предлагаемые DALL-E, генерируются нейросетью самостоятельно. Для этого использует тот же подход, что и для GPT-3. В данном случае применяется пара текст-изображение, представленные как последовательность «токенов» из определенного алфавита.
![](https://i.kod.ru/rs:fill/w:736/q:85/plain/https%3A%2F%2Fkod.ru%2Fcontent%2Fimages%2F2021%2F01%2F--------2.jpg)
![](https://i.kod.ru/rs:fill/w:736/q:85/plain/https%3A%2F%2Fkod.ru%2Fcontent%2Fimages%2F2021%2F01%2F--------1.jpg)
Нейросеть может создавать изображения одежды, интерьера, мебели, еды, животных. Например, она может создать картинки по запросу «дайкон в балетной пачке, выгуливающий собаку» или «кресло в форме авокадо».
![](https://i.kod.ru/rs:fill/w:736/q:85/plain/https%3A%2F%2Fkod.ru%2Fcontent%2Fimages%2F2021%2F01%2F-----.jpg)
Другая разработка компании, нейросеть CLIP способна распознавать, что показано на изображении по всему описанию, а не по тегу из одного слова. Издание Tech Crunch отметило, что это интересная и мощная технология, которая вскоре перерастёт во что-то ещё более сказочное и интересное.