Почему LLM игнорирует системный промпт: история диалога сильнее инструкций
The text describes a common problem where a language model ignores clear prohibitions in its system prompt and still performs forbidden actions. Even after the rules are rewritten with emphasis, capital letters, and examples, the model's behavior improves only slightly before reverting. Users then begin to suspect the model itself, its settings such as temperature, or the provider. The author encountered this issue while working on a voice assistant.
Знакомая ситуация: в системном промпте четко написано, что модель делать не должна ни в коем случае, а она все равно это делает. Вы переписываете правило, добавляете «ВАЖНО», капслок и примеры, становится чуть лучше, а потом снова за старое. В какой‑то момент начинаешь подозревать модель, ее настройки (например, температуру) или провайдера. Мы наступили на это в голосовом ассистенте и разобрали случай до конца: переиграли боевые запросы и меняли по одному фактору за раз. Промпт оказался ни при чем. Модель слушалась собственной истории диалога, и ниже я покажу, как мы это нашли, какие получились цифры и что с этим делать, если вы строите на LLM чат‑бота, агента или ассистента. Читать далее