⚖ Compare news

Put up to three stories side by side. Pick IDs from any article URL: /compare?id=123&id=456

Безопасность LLM-агентов и генеративных продуктов: угрозы и методы защиты

habrahabr.ru ·Russian Federation · world
Words
111
Chars
801
AI summary
Yes
Full story

Nikolai Shulyaev, a Security Business partner at Avito, writes about the security of LLM agents and generative products. He says a key point for any generative product built with LLMs is that the model does not distinguish between data and instructions. It does not separate user data from system instructions and will execute everything, making protection measures important.

Привет, меня зовут Николай Шуляев, я Security Business-партнёр Авито . Главный контекст, который необходимо понимать при построении архитектуры любого генеративного продукта с использованием LLM — это то, что модель не различает данные и инструкции. Модели всё равно, что является пользовательскими данными, а что — системными инструкциями: она будет исполнять всё. Поэтому очень важно внедрять механизмы разграничения, чтобы система четко понимала, где находится пользовательская инструкция, а где — преднамеренное действие разработчика. Это касается любого продукта, где вы подключаете модель напрямую или используете RAG. В этой статье я покажу сценарии атак, охватывающие категории от LLM01 до LLM09 по методологии OWASP Top 10 for LLM Applications, и расскажу, как от них защититься. Читать далее

Open article