Интерпретируемость LLM доказана?

Опубликован предварительный доклад о том, что невозможность полной интерпретации LLM переоценена. Автор Nick Cammarata в своей статье на сайте goodfire.com утверждает, что его эксперименты показывают, что можно отследить формирование ответа LLM, что позволяет изменить подходы к обучению и верификации моделей. сам автор называет текст гипотезой, основной статьи с полным описанием экспериментов пока нет. Но как обычно громкий заголовок и сильные утверждения привели к множеству пересказов, где гипотеза превратилась в факт. Ниже быстрый взгляд на гипотезу. Читать далее