Галлюцинации нейросетей. Как это устроено, откуда берётся и как с этим бороться. Часть 1

<img src="https://habrastorage.org/getpro/habr/upload_files/dcd/ed0/2cf/dcded02cff462d230a29ca07947f2960.png" /><p>Одна маленькая даже не ошибка, а скорее особенность нейросетей пока мешает им развиваться и внедряться в жизнь куда более бурными темпами, чем сейчас. Хотя, казалось бы, — куда ещё быстрее? Но нет. Эта особенность стоила юристам отстранений от практики, авиакомпании — проигранного суда, а для Google стала поводом к потере примерно ста миллиардов долларов капитализации за один день. Слово «галлюцинация» станет словом года сразу в двух словарях.</p><p>Как же так? Почему модель, которая помнит дату Грюнвальдской битвы, выдумывает номер ГОСТа? Откуда вообще взялся термин и почему он изначально был преимуществом ИИ? Правда ли, что новые «рассуждающие» модели врут больше старых? И можно ли это вылечить?</p><p>Ответы ниже. Спойлер: полностью — нельзя. И у этого «нельзя» есть чёткое объяснение.</p> <a href="https://habr.com/ru/articles/1076364/?utm_source=habrahabr&amp;utm_medium=rss&amp;utm_campaign=1076364#habracut">Читать далее</a>