Я дообучил маленькую нейросеть на MacBook, и она стала хуже. Честные цифры
The author fine-tuned the smallest model of the Lumi launcher directly on a MacBook using LoRA through MLX with 328 examples. The result was worse: the model answered that 2 + 2 × 2 = 4 and described “skuf” as a boat. On a sealed exam it scored 4 out of 23, down from 6. A second attempt returned it to the original score of 6.
В прошлой статье я пообещал дообучить самую маленькую модель своего лаунчера Lumi прямо на MacBook и показать, что выйдет, «даже если станет хуже». Как в воду глядел. После 328 примеров и LoRA через MLX модель решила, что 2 + 2 × 2 = 4, а «скуф» — это лодка, и набрала на запечатанном экзамене 4 из 23 вместо 6. Со второй попытки я вернул её к исходным 6. Рассказываю, что пошло не так, почему маленькой модели мало нескольких сотен примеров и почему обученную модель пока нельзя перенести в Ollama. Читать далее