Кодик кратко объясняет суть статьи
Разработан модуль gpu-unlock для Linux, снимающий ограничения производительности ИИ-вычислений на видеокартах Nvidia GeForce RTX 30. Модуль повышает скорость матричных операций в форматах FP16 и BF16, используемых нейросетями. Тестирование показало рост производительности на RTX 3090 Ti до 80% в BF16 и около 35% в FP16. Поддержка RTX 3090 Ti включена в основной проект, а участники подтвердили успешную работу с RTX 3090, RTX 3080, RTX 3070 и RTX 3060 12 ГБ. Обработка запросов к языковым моделям ускорилась на 14–36%, генерация токенов осталась прежней. В ответвлении проекта реализована поддержка RTX 4090 и экспериментальная поддержка RTX 4070 Ti Super.
Читайте в Telegram
|
Разработчик под ником Zagitta опубликовал модуль gpu-unlock для Linux, который снимает ограничение скорости некоторых ИИ-вычислений на видеокартах Nvidia GeForce RTX 30.
Модуль загружается до драйвера Nvidia и меняет настройки скорости матричных операций с числами в форматах FP16 и BF16. Эти вычисления используются при работе нейросетей.
Пользователь applepines сообщил, что на RTX 3090 Ti производительность в тесте умножения матриц BF16 выросла с 87,5 до 157,41 TFLOPS — примерно на 80%. В FP16 результат поднялся с 87,46 до 118,39 TFLOPS, примерно на 35%. Лимит мощности составлял 450 Вт.
25 октября автор теста подтвердил, что поддержка RTX 3090 Ti вошла в основной проект. Другой участник проверил работу модуля с обычным драйвером Nvidia без модификаций.
В проекте также собраны отчёты об успешной разблокировке RTX 3090, RTX 3080, RTX 3070 и RTX 3060 12 ГБ. Прирост зависит от карты, лимита мощности и конкретных вычислений.
По отчётам участников, начальная обработка запросов к языковым моделям ускоряется на 14–36%. Скорость последующей генерации токенов, ограниченная пропускной способностью памяти, существенно не меняется. Отдельные задачи с вычислениями INT8 также не получают ускорения.
В отдельном ответвлении разработчики добавили поддержку RTX 4090 и экспериментальную поддержку RTX 4070 Ti Super. На RTX 4090 один из участников получил прирост 12–34% в тестах умножения матриц FP16. Результаты для RTX 4070 Ti Super пока подтверждены на одной карте.
