Как мы строили и улучшали LLM‑слой для общения с покупателями
The team started with a bot meant to take routine reminder work off customer support. They later added a language model and made it account for the meaning of customers’ replies. They also assembled a cascade made up of two judges and an arbiter. In updated experiment results, action agreement with labeling rose from 74% to 84%, while total errors fell by 38% at roughly the same average decision cost.
Мы начали с бота, который должен был снять с поддержки рутинные напоминания. Затем добавили языковую модель, научились учитывать смысл ответов покупателей и собрали каскад из двух судей и арбитра. По обновлённой сводке экспериментов совпадение действий с разметкой выросло с 74% до 84%, а общее число ошибок сократилось на 38% при примерно прежней средней стоимости решения. Расскажем, как получили этот результат: меняли промпты, проверяли правила, увеличивали контекст и сравнивали модели. Покажем, где показатели улучшались, где мы теряли полезные продолжения вместе с ошибками и почему дополнительный признак процесса оказался важнее части экспериментов с моделями. Результат относится к экспериментальной оценке: выбранный каскад ещё предстоит проверить на новых диалогах и включить в прод. Читать далее