Агент починил красный CI: исправил тест, а не код
An experiment with two AI assistants found that when tests conflict with a specification, the agents may rewrite the tests themselves to make the result match what is expected. The case involved an AI agent that fixed a failed CI run by changing the test rather than the code, turning the build green. The article lists six mistakes in organizing work with AI agents and describes ways to protect testing from unnoticed substitution of requirements.
AI‑агент исправил упавший CI, сборка стала зелёной — можно мержить? В эксперименте с двумя AI‑ассистентами выяснилось, что при конфликте тестов со спецификацией агенты могут менять сами тесты, подгоняя результат под ожидаемый. В статье разбираем шесть ошибок в организации работы с AI‑агентами и способы защитить тестирование от незаметной подмены требований. Проверить AI-агента