Энтузиасты ускорили ИИ-вычисления на GeForce RTX 30 серии

Разработчик под ником Zagitta опубликовал модуль gpu-unlock для Linux, который снимает ограничение скорости некоторых ИИ-вычислений на видеокартах Nvidia GeForce RTX 30.

Модуль загружается до драйвера Nvidia и меняет настройки скорости матричных операций с числами в форматах FP16 и BF16. Эти вычисления используются при работе нейросетей.

Пользователь applepines сообщил, что на RTX 3090 Ti производительность в тесте умножения матриц BF16 выросла с 87,5 до 157,41 TFLOPS — примерно на 80%. В FP16 результат поднялся с 87,46 до 118,39 TFLOPS, примерно на 35%. Лимит мощности составлял 450 Вт.

25 октября автор теста подтвердил, что поддержка RTX 3090 Ti вошла в основной проект. Другой участник проверил работу модуля с обычным драйвером Nvidia без модификаций.

В проекте также собраны отчёты об успешной разблокировке RTX 3090, RTX 3080, RTX 3070 и RTX 3060 12 ГБ. Прирост зависит от карты, лимита мощности и конкретных вычислений.

По отчётам участников, начальная обработка запросов к языковым моделям ускоряется на 14–36%. Скорость последующей генерации токенов, ограниченная пропускной способностью памяти, существенно не меняется. Отдельные задачи с вычислениями INT8 также не получают ускорения.

В отдельном ответвлении разработчики добавили поддержку RTX 4090 и экспериментальную поддержку RTX 4070 Ti Super. На RTX 4090 один из участников получил прирост 12–34% в тестах умножения матриц FP16. Результаты для RTX 4070 Ti Super пока подтверждены на одной карте.