Энтузиаст построил языковую модель с 5 млн параметров внутри Minecraft

Ютубер sammyuri создал в Minecraft необычный проект — языковую модель CraftGPT, работающую исключительно на схемах из редстоуна.

В её конструкции используется более 438 млн блоков, а для запуска не потребовались ни моды, ни дата-паки.

Характеристики модели получились такие:

• 5 млн параметров, примерно в 23 раза меньше модели GPT-1 и в 175 тыс. раз меньше модели GPT-3.
• словарь на 1920 слов,
• контекстное окно — 64 токена,
• обучена на датасете TinyChat (разговорные фразы на английском).

Модель крайне медлительна: генерация одного ответа занимает около 2 часов даже с ускорением с помощью Minecraft High Performance Redstone (MCHPR) и увеличением тика сервера в 40 тыс. раз. В обычной версии Minecraft без ускорения на обычный ответ ушло бы больше 10 лет.

Качество работы тоже оставляет желать лучшего: CraftGPT часто делает грамматические ошибки, теряет тему диалога или выдаёт бессмысленный текст. Тем не менее, создание чего-то подобное в рамках логики игры удивляет.

Как отмечает автор, для запуска игрового мира требуется железо минимум с 32 ГБ ОЗУ (для загрузки сервера), но для стабильной работы автор советует не менее 64 ГБ. Код проекта, веса модели и инструкции по запуску опубликованы в GitHub-репозитории.