Хотел упростить мониторинг проектов и в отпуск — пришлось обучать свой LLM.Часть 3.Дистилляция
Третья часть про DevOps-агента Oni. В первой статье я встретился с реальностью — локальные модели не справляются с простыми задачами. Во второй разбирал, как несколько дней бился с delta-merge и в итоге пришёл к dataset evolution — каждую новую модель учить с нуля на чистом Qwen3:14B, а эволюционировать только датасет. Способ рабочий, но встал вопрос: где брать сам датасет. Hand-crafting упирается в потолок — 1.5–2K трейсов на коленках, дальше надо что-то решать. Эта статья про то, как я неделю гонял локальную дистилляцию, провалился с популярным HF-датасетом, нашёл правильный источник и в итоге получил модель, которая делает realworld-тесты 10/10. И про то, что главное — не процесс, а правильные данные. Читать далее