Открытые проекты GPU-unlock и GPU-unlock-ADA снимают ограничения матричных вычислений на GPU Nvidia RTX 30 и 40 серии
Открытые проекты GPU-unlock и GPU-unlock-ADA позволяют снять программные ограничения Nvidia на матричные вычисления на видеокартах серий RTX 30xx и RTX 40xx. Это повышает производительность в ИИ-задачах до 60% без изменения драйверов или прошивки.
Представлены открытые проекты GPU-unlock и GPU-unlock-ADA — инструменты для снятия искусственных ограничений производительности матричных вычислений на видеокартах Nvidia. Анлокеры работают с GPU на архитектуре Ampere (серия RTX 30xx на чипах GA102, GA103, GA104, GA106) и Ada Lovelace (серия RTX 40xx). По мнению экспертов, Nvidia намеренно ограничивает скорость тензорных операций на игровых картах, чтобы предотвратить их эффективное использование для обучения и запуска нейросетей.
Решение запускается до загрузки драйвера видеокарты и не требует модификации прошивки или драйверов. Тесты демонстрируют увеличение вычислительной мощности в терафлопсах для задач FP32 и BF16, а также ускорение генерации изображений и видео на локальных моделях почти на 60% в зависимости от модели GPU и типа нагрузки. При этом пропускная способность видеопамяти и количество CUDA-ядер остаются неизменными.
Проекты базируются на исследованиях разблокировки прошивок майнинговых видеокарт серии CMP. Важно отметить, что в задачах генерации текста с помощью LLM прирост производительности минимален, так как здесь ключевую роль играет пропускная способность памяти видеокарты, системной ОЗУ и процессора. На игровые показатели решения также не влияют.
Для Windows выпущен экспериментальный порт Windows GPU UNLOCK, использующий UEFI вместо Linux-модуля. На текущий момент стабильная работа подтверждена только для RTX 3090: производительность FP16 выросла с 70,6 до 125,9 терафлопс. Инструменты представляют наибольший интерес для специалистов, работающих с локальными ИИ-задачами и высокими вычислительными нагрузками на видеокартах RTX 30 и RTX 40 серий.
