Безопасность LLM-агентов и генеративных продуктов: угрозы и методы защиты
Привет, меня зовут Николай Шуляев, я Security Business-партнёр Авито . Главный контекст, который необходимо понимать при построении архитектуры любого генеративного продукта с использованием LLM — это то, что модель не различает данные и инструкции. Модели всё равно, что является пользовательскими данными, а что — системными инструкциями: она будет исполнять всё. Поэтому очень важно внедрять механизмы разграничения, чтобы система четко понимала, где находится пользовательская инструкция, а где — преднамеренное действие разработчика. Это касается любого продукта, где вы подключаете модель напрямую или используете RAG. В этой статье я покажу сценарии атак, охватывающие категории от LLM01 до LLM09 по методологии OWASP Top 10 for LLM Applications, и расскажу, как от них защититься. Читать далее