Пять слоёв памяти ИИ-ассистента: что реально работает в проде, а что осталось в библиотеке
The article addresses the common complaint that chatbots do not remember users. It explains that LLMs have no memory of their own and that anything they appear to remember is placed into context by developers. It describes an assistant memory system running in production at 16,000 rounds, using files, PostgreSQL with pgvector, a judge on a cheap model, summaries, and an access policy between agents. It also notes that some planned features remained unused in the library.
Главная жалоба на чат-ботов всегда одна: «он меня не помнит». Своей памяти у LLM нет, и всё, что она якобы помнит, кладём в контекст мы сами. Рассказываю, как устроена память ассистента в проде на 16 тысячах раундов: файлы, PostgreSQL с pgvector, судья на дешёвой модели, выжимки, политика доступа между агентами. И что из задуманного так и осталось лежать в библиотеке. Читать далее