Оптимизация параметров языковой модели на основе графа со-встречаемости слов: когда больше — не значит лучше
newsare.net
В последние годы мы привыкли, что прогресс в NLP измеряется гига- и терабайтами параметров. Кажется, единственный путь к улучшению качества модОптимизация параметров языковой модели на основе графа со-встречаемости слов: когда больше — не значит лучше
В последние годы мы привыкли, что прогресс в NLP измеряется гига- и терабайтами параметров. Кажется, единственный путь к улучшению качества модели — увеличение ее размера. Но так ли это для специализированных задач?Мы решили пойти от обратного: можно ли заранее, еще до обучения, понять, насколько большой должна быть модель, чтобы эффективно решать конкретную задачу классификации?Эксперимент строится на простой, но мощной гипотезе: структура текстов предметной области, отраженная в графе со-встречаемости слов, диктует минимально необходимую архитектуру трансформера. Мы прошли полный цикл — от анализа текстов студенческих запросов до обучения трех моделей разного размера — и подтвердили, что минимальная модель, спроектированная на основе графовых метрик, не уступает «стандартной» по качеству, превосходя ее по ресурсоэффективности в десятки раз. Читать далее Read more












