GPT-6 Astra вручную исправила веса Qwen: прорыв от MIT CSAIL в программировании пространства весов

Исследователи из MIT CSAIL (Рикия Такехи, Джейден Тео, Алекс Чжан и Омар Хаттаб) опубликовали технический отчет «Sparks of Weight-Space Programming», демонстрирующий принципиально новый подход к модификации нейросетей. Языковая модель GPT-6 Astra от OpenAI научилась читать веса другой модели, находить в них проблемы и исправлять конкретные значения напрямую, без классического дообучения на данных. В эксперименте объектом правки стала открытая модель Qwen3.5-0.8B от Alibaba.

Главная проблема Qwen заключалась в зацикливании при рассуждениях: 93% ответов упирались в лимит 32 768 токенов, не дойдя до результата. Astra проанализировала пространство активаций, выявила проблемное направление в MLP-блоках слоев 15 и 19 и вычла его из 64 выходных столбцов каждого слоя. Всего было изменено 131 072 веса — всего 0,016% параметров модели. Процедура заняла до 50 прямых проходов (forward passes) для верификации правок.

Результаты впечатляют: точность на MATH-500 выросла с 7,9% до 48,1%, на GSM8K — с 13,8% до 67,1%, а на IFEval (следование инструкциям) — с 21,0% до 62,3%. Доля зацикленных ответов упала с 93% до 33,1%. Авторы подчеркивают: метод устраняет препятствие, мешающее проявить *уже имеющуюся* способность, но не может добавить новой, которой у модели нет. На модели Gemma 3 270M подход не сработал, так как она редко зацикливалась.

Для инженеров, разворачивающих малые открытые модели локально, это дешевая альтернатива LoRA: не нужен датасет и GPU-часы дообучения, достаточно лишних прогонов на инференсе. Однако работа поднимает вопросы безопасности: если фронтовая модель может точечно править чужие веса, она может встраивать закладки. Недавнее исследование с Николасом Карлини показало, что 0,1% отравленных данных при претрейне достаточно для бэкдора в агенте на Qwen3-4B с успешностью 92%. Это делает верификацию происхождения весов открытых моделей обязательной процедурой.