[Перевод] Прогнал агента на $90 тысяч с разными техниками тестирования: TDD снова в хвосте
Dan Lu had an agent based on GPT-6 Astra implement Pandoc, changing only the instructions on how to test in each condition. He ran 25 conditions with 25 runs each, at a cost of about $90,000 at retail prices. Hidden-test results ranged from 40.5% for TDD to 45.1% for differential testing, while giving no testing instructions produced 44.1%. The author warns that the data are limited and discusses what can be drawn from the experiment, along with why a viral claim about testing spread.
Дэн Лу дал агенту на GPT-6 Astra реализовать Pandoc и в каждом условии менял только указание, как тестировать: 25 условий по 25 прогонов, около 90 тысяч долларов по розничным ценам. Скрытые тесты разошлись от 40,5% у TDD до 45,1% у дифференциального тестирования при 44,1% без всяких указаний. Автор сам предупреждает, что данных мало, и разбирает, что из этого можно вынести, а заодно почему вирусное «тесты от ИИ доказанно бесполезны» не следует из проверки на DeepSWE. Читать далее