Исследователи компании Open AI сообщили, что смогли научить нейросеть играть в Minecraft при помощи видеороликов с игровым процессом.
Для этого был разработан метод предварительного видеообучения на основе размеченных роликов игрового процесса общей длительностью в 2000 часов. Он позволяет использовать большой объём неразмеченных данных.
Для разметки использовали данные о клавишах, которые нажимали игроки. В рамках обучения ИИ использовал эмуляцию стандартной мыши и клавиатуры и тем самым научился обрабатывать видео, угадывать нажатия клавиш и записывать их.
В автоматическом режиме нейросеть смогла разметить ещё 70 000 часов геймплея из открытых источников. Она научилась выполнять даже сложные действия в Minecraft, которые требуют последовательного принятия решений.
Речь идёт например, о добыче ресурсов, изготовлению из них предметов, беге, плавании, обходе препятствий, охоте и употреблении пищи. Кроме того, ИИ научился ставить блоки под персонажа для поднятий по возвышенности.
Также нейросеть научилась правильно стартовать в игре и стремилась сделать верстак, с помощью которого можно изготавливать игровые предметы. В результате метод обучения с подкреплением позволил нейросети самостоятельно изготовить алмазную кирку.
Исследователи Open AI по итогам обучения в Minecraft заявили, что нейросеть таким образом в будущем сможет пользоваться и другими компьютерными программами с помощью клавиатуры и мыши.
