Пишет ли локальная модель бэкенд по правилам проекта: 4 модели, 2 харнесса, 24 прогона
- Words
- 158
- Chars
- 969
- AI summary
- Yes
Open-weight local models are increasingly proposed as a replacement for cloud services in agentic development, since code stays in-house and cost does not depend on outside pricing. The author wanted to answer a practical question: can such a model handle a real backend task — a full service with a database, a queue and project rules — and produce code that works and follows those rules. The experiment covers four models, two harnesses and 24 runs.
Локальные модели с открытыми весами всё чаще предлагают как замену облачным в агентной разработке, поскольку код не уходит наружу, а цена не зависит от чужих тарифов. Мне нужен был ответ на практический вопрос о том, можно ли дать такой модели настоящую бэкенд‑задачу — полноценный сервис с базой, очередью и правилами проекта — и получить код, который работает и эти правила соблюдает. Я проверил четыре модели, два харнесса, по три прогона на каждую пару. Короткий ответ — почти. Лучшие пары набирают 0,80 и 0,79 по шкале от нуля до единицы, без единого замечания задачу не прошёл никто, но лучшие прогоны были в шаге от этого. Главное, что я вынес из своих экспериментов, это то, что результат определяет пара «модель + харнесс», а не одна модель, и правила проекта надёжнее отдавать инструментам, чем тексту. Остальное — описание моей методологии и результаты, а также множество историй о том, на чём агенты ломаются: часть из них вообще не про модель. Читать далее
Open article