1 674 813 токенов в одном запросе: как я чистил контекст OpenWebUI, а потом вынес агента наружу
The incident began with an error saying input tokens exceeded 922,000 because a request resulted in 1,674,813 tokens. The setup was a self-hosted OpenWebUI instance used as an internal assistant by a small team for files, documents and small engineering tasks. The author first wrote a filter to remove tool results from the conversation history. Later, after deciding that was the wrong place to fix the problem, the author moved agent execution into a separate service.
Input tokens exceed 922,000 tokens. Your messages resulted in 1,674,813 tokens — с этой ошибки началась история, которая растянулась на полгода. У нас self-hosted OpenWebUI, на нём внутренний ассистент для небольшой команды: файлы, документы, мелкие инженерные задачи. Сначала я писал фильтр, который вычищает из истории результаты инструментов. Потом понял, что латаю не то место, и вынес исполнение агента в отдельный сервис на OpenAI Agents SDK и Codex SDK. По дороге ещё споткнулся о потоковый Responses API. Читать далее