⚖ Compare news

Put up to three stories side by side. Pick IDs from any article URL: /compare?id=123&id=456

Оценка агентных систем

habrahabr.ru ·Russian Federation · economy
Words
55
Chars
364
AI summary
Yes
Full story

The breakdown explains how to move agent-system evaluation from subjective impressions to measurable indicators. It covers checking the trajectory of tool calls, calibrating an LLM judge, and deciding when to involve human assessors versus relying on the team. It also describes assembling these practices into a single pipeline with gates that every feature passes before production.

Всем привет! В этом разборе расскажу, как в оценке агентных систем перейти от ощущений к измеримым показателям: как проверять траекторию вызовов инструментов, как калибровать LLM-судью, когда звать асессоров, а когда хватит команды. А в конце покажу, как мы собрали всё это в единый пайплайн с гейтами, через который проходит каждая фича перед продом. Читать далее

Open article