Локальные модели ИИ на PS5 смог запустить энтузиаст

На GitHub появилось приложение PS5LM Plus. Оно запускает языковые модели прямо на видеокарте взломанной PlayStation 5.

В основе лежит llama.cpp, популярная открытая программа для запуска нейросетей на своём железе, её перенёс на консоль разработчик Мерт Чобанов, создатель оригинального проекта PS5LM. Форк от другого автора собрана как отдельное приложение, поэтому получает доступ к графическому процессору и 12 ГБ памяти консоли.

Стоит отметить, что проект создан энтузиастами в исследовательских целях и не связан с Sony. Взлом консоли нарушает пользовательское соглашение PlayStation: из-за него можно потерять гарантию и получить блокировку аккаунта в PlayStation Network. «Код.ру» не призывает взламывать устройства.

По замерам автора, модель Qwen 3.8 27B выдаёт около 20 токенов (примерно 15 слов на английском) в секунду. Gemma 4 E4B работает со скоростью 61 токен в секунду, Llama 3.2 3B — со скоростью 124 токена. Для сравнения: когда та же Qwen работала на процессоре консоли в оригинальном проекте, она выдавала примерно один токен в минуту.

Приложение показывает на телевизоре загрузку чипа, температуру, энергопотребление и скорость генерации. Модели можно загружать прямо с Hugging Face или со своего диска. Чат открывается в браузере на телефоне или компьютере в той же сети, а программы вроде Claude Code и Codex могут подключаться к консоли через совместимый API.

Для работы нужна взломанная PS5 с набором homebrew-утилит. В конце сентября для консоли вышел эксплойт, который подходит почти для всех прошивок, писал «Код.ру». Код проекта открыт и распространяется по лицензии GPL v3. Готовую сборку можно загрузить на странице релизов.