Метод Concertina сжал Qwen3-4B в два раза без потери качества
14

Метод Concertina сжал Qwen3-4B в два раза без потери качества

Автор: admin

Исследователи представили метод Concertina, позволяющий уменьшить модель Qwen3-4B до 2,27 млрд параметров с сохранением 85% качества. Дистилляция заняла всего 22 млрд токенов вместо 36 трлн.

Команда исследователей предложила новый подход к сжатию больших языковых моделей под названием Concertina. Метод позволяет уменьшить модель Qwen3-4B почти в два раза — до 2,27 миллиарда параметров — сохраняя при этом около 85% качества исходной модели. Ключевое преимущество: дистилляция потребовала всего 22 миллиарда токенов, что в 1600 раз меньше, чем 36 триллионов токенов, использованных для обучения Qwen3-1.7B с нуля.

Принцип работы Concertina напоминает складную гармошку: соседние слои нейросети попарно объединяются в один общий блок, который выполняется дважды. При втором проходе к общим весам добавляется поправка ранга 64, инициализируемая через усеченное SVD разности исходных слоев. Поток поправки масштабируется гейтом для каждого токена, а нормализации RMSNorm остаются отдельными для каждого прохода. Такой подход сохраняет эффективную глубину в 36 слоев (18 уникальных блоков по два прохода).

В бенчмарках полученная модель Concertina-2.27B в среднем обходит Qwen3-1.7B, обученную на полном объеме данных. Concertina выигрывает по base-7 (0,580 против 0,562), MMLU-Pro (0,301 против 0,297), GPQA (0,308 против 0,293), BBH (0,400 против 0,363), GSM8K (0,788 против 0,710) и MATH (0,498 против 0,460). На MMLU (0,556 против 0,557) и MMLU-Redux (0,587 против 0,591) уступает с минимальным отрывом. Задачи на рассуждения сохраняются лучше всего — около 90% качества учителя.

Вес модели в формате bf16 сократился с 8,0 до 4,5 ГБ, что критично для запуска на устройствах с ограниченной памятью. Однако KV-кэш и вычислительная сложность на токен остаются сравнимыми с Qwen3-4B, так как каждый блок исполняется дважды. Реальные замеры скорости инференса пока отсутствуют. Готовые веса опубликованы на Hugging Face под лицензией Apache 2.0. Код репозитория включает функции fold_model и distill_loss с самотестом на CPU.

Похожие материалы

Навайбкодил 30+ Open Source проектов: реальные границы и перспективы AI-разработки
вайб-кодинг LLM Open Source TypeScript

Навайбкодил 30+ Open Source проектов: реальные границы и перспективы AI-разработки

Автор экспериментально проверяет возможности вайб-кодинга, создав более 30 приложений за пару месяцев. …

ИИ-термины: 20 ключевых слов для понимания нейросетей
искусственный интеллект нейросети LLM термины ИИ

ИИ-термины: 20 ключевых слов для понимания нейросетей

Статья простым языком объясняет 20 основных терминов искусственного интеллекта: от модели и …

Инженер Cloudflare создал язык KillSwitch, который сбивает с толку нейросети
языки программирования искусственный интеллект LLM Cloudflare

Инженер Cloudflare создал язык KillSwitch, который сбивает с толку нейросети

Инженер Cloudflare Доминик Пичета представил экспериментальный язык KillSwitch, код на котором выглядит …

Почему сравнение мозга с FM, а LLM с AM — это ошибка категории: разбор популярной гипотезы
нейромоделирование LLM нейронаука трансформеры

Почему сравнение мозга с FM, а LLM с AM — это ошибка категории: разбор популярной гипотезы

Разбор гипотезы о том, что мозг работает как частотный модулятор (FM), а …