Как я ловлю галлюцинации LLM в коде: пайплайн проверок в CI
- Words
- 286
- Chars
- 1849
- AI summary
- Yes
The article describes a pipeline of checks in CI for catching LLM hallucinations in code. About four months ago, the author reviewed a pull request in which a particle update loop called FrameAllocator::TryReclaimTail(). The call had the correct prefix, followed the naming style, and included a comment explaining why the frame allocator tail had to be reclaimed there. It looked so familiar that he skimmed the diff, approved it, and left.
Месяца четыре назад мне на ревью пришел пулл‑реквест, в котором из цикла обновления частиц вызывалась функция FrameAllocator::TryReclaimTail(), с правильным префиксом, в нашем стиле именования и даже с комментарием над вызовом, где объяснялось, зачем хвост кадрового аллокатора надо подбирать именно здесь, и выглядело все это настолько по‑домашнему, что я пролистал дифф, поставил апрув и ушел обедать. На PC сборка прошла и тесты позеленели, потому что вызов сидел внутри старого профайлерного макроса, который на десктопе разворачивался в пустоту вместе со всем содержимым скобок, а через два дня ночной билд под консоль упал на линковке, и выяснилось, что такой функции в движке нет и никогда не было. Код, понятное дело, писался вместе с иишкой, и автор потом честно признался, что функцию он не искал, потому что «она выглядела так, будто ее лет восемь назад написал наш техлид», и в этой фразе, пожалуй, уместилась вся беда нейросетевого кода в старом проекте: стиль проекта модель схватывает за пару файлов, а вот что в проекте на самом деле есть, она помнит примерно так же, как я помню пароль от первой аськи. Ошибки, которые выглядят как ошибки, ловит компилятор, а выдуманный код, похожий...
Open article