Исследователи представили метод Concertina, позволяющий уменьшить модель Qwen3-4B до 2,27 млрд параметров с сохранением 85% качества. Дистилляция заняла всего 22 млрд токенов вместо 36 трлн.
Команда исследователей предложила новый подход к сжатию больших языковых моделей под названием Concertina. Метод позволяет уменьшить модель Qwen3-4B почти в два раза — до 2,27 миллиарда параметров — сохраняя при этом около 85% качества исходной модели. Ключевое преимущество: дистилляция потребовала всего 22 миллиарда токенов, что в 1600 раз меньше, чем 36 триллионов токенов, использованных для обучения Qwen3-1.7B с нуля.
Принцип работы Concertina напоминает складную гармошку: соседние слои нейросети попарно объединяются в один общий блок, который выполняется дважды. При втором проходе к общим весам добавляется поправка ранга 64, инициализируемая через усеченное SVD разности исходных слоев. Поток поправки масштабируется гейтом для каждого токена, а нормализации RMSNorm остаются отдельными для каждого прохода. Такой подход сохраняет эффективную глубину в 36 слоев (18 уникальных блоков по два прохода).
В бенчмарках полученная модель Concertina-2.27B в среднем обходит Qwen3-1.7B, обученную на полном объеме данных. Concertina выигрывает по base-7 (0,580 против 0,562), MMLU-Pro (0,301 против 0,297), GPQA (0,308 против 0,293), BBH (0,400 против 0,363), GSM8K (0,788 против 0,710) и MATH (0,498 против 0,460). На MMLU (0,556 против 0,557) и MMLU-Redux (0,587 против 0,591) уступает с минимальным отрывом. Задачи на рассуждения сохраняются лучше всего — около 90% качества учителя.
Вес модели в формате bf16 сократился с 8,0 до 4,5 ГБ, что критично для запуска на устройствах с ограниченной памятью. Однако KV-кэш и вычислительная сложность на токен остаются сравнимыми с Qwen3-4B, так как каждый блок исполняется дважды. Реальные замеры скорости инференса пока отсутствуют. Готовые веса опубликованы на Hugging Face под лицензией Apache 2.0. Код репозитория включает функции fold_model и distill_loss с самотестом на CPU.




