Пишет ли локальная модель бэкенд по правилам проекта: 4 модели, 2 харнесса, 24 прогона

habrahabr.ru · world

Локальные модели с открытыми весами всё чаще предлагают как замену облачным в агентной разработке, поскольку код не уходит наружу, а цена не зависит от чужих тарифов. Мне нужен был ответ на практический вопрос о том, можно ли дать такой модели настоящую бэкенд‑задачу — полноценный сервис с базой, очередью и правилами проекта — и получить код, который работает и эти правила соблюдает. Я проверил четыре модели, два харнесса, по три прогона на каждую пару. Короткий ответ — почти. Лучшие пары набирают 0,80 и 0,79 по шкале от нуля до единицы, без единого замечания задачу не прошёл никто, но лучшие прогоны были в шаге от этого. Главное, что я вынес из своих экспериментов, это то, что результат определяет пара «модель + харнесс», а не одна модель, и правила проекта надёжнее отдавать инструментам, чем тексту. Остальное — описание моей методологии и результаты, а также множество историй о том, на чём агенты ломаются: часть из них вообще не про модель. Читать далее

Read full article → Compare