Нейросеть научили рисовать изображения по их текстовому описанию

Исследователи из OpenAI представили две новые нейросети — DALL-E и CLIP. Первая создает иллюстрации, фотографии и рендеры на основе простого описания. Вторая может определять предметы и классифицировать их, полагаясь на описание. Программу назвали DALL-E — это анаграмма из имени знаменитого художника Сальвадора Дали (Dali) и не менее знаменитого робота WALL-E, героя одноименного мультфильма. То есть что-то среднее между роботом и человеком.

Нейросеть DALL-E создаёт изображения из текста. Она не находит их в открытых источниках, а генерирует самостоятельно. Например, она может создать коллекцию картинок по запросу «пятиугольные зелёные часы» или «куб с текстурой дикобраза».

Для графических представлений подписей компанией OpenAI обучено программное обеспечение Dall-E. Для обучения через нейросеть прогнали набор данных из 12 млрд изображений и их подписей, которые были найдены в Интернете. Результат обучения впечатлил даже создателей.

Нейросеть способна не только определять по одному слову, что нужно нарисовать, но и формировать определенные ассоциации из словосочетаний. Тем не менее чем сложнее описание, тем хуже работает нейросеть.-

В блоге Open.AI, где опубликовано сообщение о DALL-E, разработчики обещают в ближайшее время выложить подробное описание работы нейросети.