ГигаЧат кратко объясняет суть статьи
Ютубер sammyuri разработал в Minecraft уникальную языковую модель CraftGPT, построенную исключительно на редстоун-схемах. Модель содержит 5 миллионов параметров, словарь из 1920 слов и контекстное окно в 64 токена. Несмотря на использование специального плагина MCHPR и увеличения скорости тиков сервера до 40 тысяч раз, генерация одного ответа занимает около двух часов, а без ускорения процесс занял бы свыше десяти лет. Качество генерируемого текста низкое, модель допускает много ошибок и теряет нить разговора. Проект требует сервер с минимум 32 ГБ оперативной памяти, а оптимально — 64 ГБ. Исходники и инструкции размещены на GitHub.
Ютубер sammyuri создал в Minecraft необычный проект — языковую модель CraftGPT, работающую исключительно на схемах из редстоуна.
В её конструкции используется более 438 млн блоков, а для запуска не потребовались ни моды, ни дата-паки.
Характеристики модели получились такие:
- 5 млн параметров, примерно в 23 раза меньше модели GPT-1 и в 175 тыс. раз меньше модели GPT-3.
- словарь на 1920 слов,
- контекстное окно — 64 токена,
- обучена на датасете TinyChat (разговорные фразы на английском).
Модель крайне медлительна: генерация одного ответа занимает около 2 часов даже с ускорением с помощью Minecraft High Performance Redstone (MCHPR) и увеличением тика сервера в 40 тыс. раз. В обычной версии Minecraft без ускорения на обычный ответ ушло бы больше 10 лет.
Качество работы тоже оставляет желать лучшего: CraftGPT часто делает грамматические ошибки, теряет тему диалога или выдаёт бессмысленный текст. Тем не менее, создание чего-то подобное в рамках логики игры удивляет.
Как отмечает автор, для запуска игрового мира требуется железо минимум с 32 ГБ ОЗУ (для загрузки сервера), но для стабильной работы автор советует не менее 64 ГБ. Код проекта, веса модели и инструкции по запуску опубликованы в GitHub-репозитории.
Читать первым в Telegram-канале «Код Дурова»
