⚖ Compare news

Put up to three stories side by side. Pick IDs from any article URL: /compare?id=123&id=456

Сколько примеров нужно, чтобы проверить безопасность AI-приложения

habrahabr.ru ·Russian Federation ·
Words
59
Chars
436
AI summary
Yes
Full story

A team improving a red-teaming product ran into a practical question: how many test examples are enough to confirm that an AI application's safeguards actually hold. If the app survives every attempt to break through its defenses, it is tempting to call the check a success, but there may simply have been too few attempts to expose violations. The article describes a solution that helps tell apart the case where no violations were found from the case where the testing was too thin.

С этим вопросом мы столкнулись при улучшении нашего продукта для red-teaming. Вы реализовали приложение, меры безопасности для него, и проверили, что все работает. Если приложение выдержало все попытки обойти защиту, хочется считать проверку успешной. Но, возможно, их было недостаточно, чтобы обнаружить нарушения. В статье описываем решение, которое помогает различать «нарушений не нашли» от «у нас данных недостаточно». Читать далее

Open article