Аудит MIT-p50c для Qwen3.5-0.8B и редактирование весов с сохранением норм (SGNE-CC) при лимите 32 768 токенов
The article examines an audit of MIT-p50c for Qwen3.5-0.8B and norm-preserving weight editing with SGNE-CC under a 32,768-token limit. Qwen3.5-0.8B has 752 million parameters, 18 GatedDeltaNet recurrent layers and six attention layers. In tested runs with BF16 weights, the model often failed to finish its reasoning within 32,768 new tokens. The MIT CSAIL paper Sparks of Weight-Space Programming by Takehi et al. (2026) reports that editing weights with MIT-p50c without fine-tuning lifts MATH-500 accuracy from 7.9% to 48.1%, averaged over four vLLM runs using the model-card settings.
Qwen3.5-0.8B — модель с 752 млн параметров, 18 рекуррентными слоями GatedDeltaNet и 6 слоями внимания. В проверенных прогонах с весами BF16 она часто не завершает размышление до лимита в 32 768 новых токенов. В работе MIT CSAIL Sparks of Weight-Space Programming (Takehi et al., 2026) правка весов без дообучения MIT-p50c повышает точность на MATH-500 с 7.9% до 48.1% — в среднем по четырём прогонам vLLM с настройками из карточки модели. Сохраняется ли сокращение зацикливания без случайного выбора токенов и штрафа за повторы? Какие различия в геометрии весов сопровождают изменение поведения? В статье сопоставлены геометрия и поведение MIT-p50c и SGNE-CC (3.13 МиБ) на MATH-500, MGSM-240, BBH-160, HumanEval-164 и MultiSpeech-64 при лимите 32 768 токенов. Читать далее