Читайте в Telegram
|
Ютубер sammyuri создал в Minecraft необычный проект — языковую модель CraftGPT, работающую исключительно на схемах из редстоуна.
В её конструкции используется более 438 млн блоков, а для запуска не потребовались ни моды, ни дата-паки.
Характеристики модели получились такие:
- 5 млн параметров, примерно в 23 раза меньше модели GPT-1 и в 175 тыс. раз меньше модели GPT-3.
- словарь на 1920 слов,
- контекстное окно — 64 токена,
- обучена на датасете TinyChat (разговорные фразы на английском).
Модель крайне медлительна: генерация одного ответа занимает около 2 часов даже с ускорением с помощью Minecraft High Performance Redstone (MCHPR) и увеличением тика сервера в 40 тыс. раз. В обычной версии Minecraft без ускорения на обычный ответ ушло бы больше 10 лет.
Качество работы тоже оставляет желать лучшего: CraftGPT часто делает грамматические ошибки, теряет тему диалога или выдаёт бессмысленный текст. Тем не менее, создание чего-то подобное в рамках логики игры удивляет.
Как отмечает автор, для запуска игрового мира требуется железо минимум с 32 ГБ ОЗУ (для загрузки сервера), но для стабильной работы автор советует не менее 64 ГБ. Код проекта, веса модели и инструкции по запуску опубликованы в GitHub-репозитории.
