Модель отредактировала веса другой модели без обучения. Часть 2: почему петля рвётся, а навык не добавить
The second part of the article examines why flipping one direction in two layers of Qwen sharply increases the chance of escaping a loop. It argues that the same method cannot, in principle, add a skill the model lacks. It also describes a layer-by-layer probe and links the work to ROME, refusal direction and task arithmetic. The piece reports concrete numbers on where weights are located in Qwen, Gemma, Llama and MoE models, and discusses risks and open questions.
Во второй части разбираю, почему разворот одного направления в двух слоях Qwen на порядок поднимает шанс выйти из петли, и почему тот же приём в принципе не может «вложить» в модель отсутствующий навык. Ещё здесь мой зонд по слоям, связь с ROME, refusal direction и task arithmetic, реальные числа о том, где лежат веса у Qwen, Gemma, Llama и MoE, а также риски и открытые вопросы. Читать далее