Почему LLM врут с умным видом
newsare.net
Иногда кажется, что большие языковые модели уверены в себе больше, чем большинство людей в понедельник утром. Задаёшь простой вопрос — а в отПочему LLM врут с умным видом
Иногда кажется, что большие языковые модели уверены в себе больше, чем большинство людей в понедельник утром. Задаёшь простой вопрос — а в ответ получаешь удивительный факт, на который хочется переспросить: а ты точно знаешь, о чем говоришь или просто угадываешь? Оказывается, у этой привычки «галлюцинировать» и выдавать ответы даже тогда, когда стоило бы промолчать, есть вполне логичные основания. Проблема заложена ещё на этапе обучения и подкрепляется тем, как мы потом оцениваем работу LLM. Почему даже самые продвинутые модели чаще выбирают угадать, чем признаться в собственном незнании, и что с этим делать — свежее исследование предлагает неожиданно простое объяснение. Читать далее Read more