[Перевод] Коллапс модели при обучении на сгенерированных данных

Сейчас уже ясно, что большие языковые модели (LLM) никуда не денутся и существенно изменят экосистему текстов и изображений в интернете. Исследовательская группа из Оксфорда, Кембриджа, университетов Торонто и Эдинбурга провела эксперимент, что может произойти с GPT‑{ n }, когда большинство текстов в интернете будут сгенерированы LLM. Выяснилось, что обучение на сгенерированном контенте приводит к необратимым дефектам в моделях: у них исчезают хвосты исходного распределения контента. Учёные назвали этот эффект «коллапс модели». Читать далее