Новые нейросети OpenAI способны создавать изображения по запросу и определять объекты на фото

В OpenAI разработали две новые нейросети. Одна из них, которая называется DALL-E, создаёт изображения, фотографии и рендеры на основе простого описания. А вторая, CLIP, определяет объекты и классифицирует их, основываясь на простом описании.

Изображения, предлагаемые DALL-E, генерируются нейросетью самостоятельно. Для этого использует тот же подход, что и для GPT-3. В данном случае применяется пара текст-изображение, представленные как последовательность «токенов» из определенного алфавита.

Нейросеть может создавать изображения одежды, интерьера, мебели, еды, животных. Например, она может создать картинки по запросу «дайкон в балетной пачке, выгуливающий собаку» или «кресло в форме авокадо».

Другая разработка компании, нейросеть CLIP способна распознавать, что показано на изображении по всему описанию, а не по тегу из одного слова. Издание Tech Crunch отметило, что это интересная и мощная технология, которая вскоре перерастёт во что-то ещё более сказочное и интересное.