От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 2/10
Full story
This is part 2 of a series on isotropic embeddings in a 29M model. The post explains how to build a basic text corpus for distilling the teacher model's representations. A Wikipedia dump supplies the general semantics, and domain texts in psychology, psychiatry, and psychotherapy are added. The texts are parsed and assembled into a corpus, then lightly cleaned to remove the most obvious issues.
В этой части мы создаем базовый корпус текстов для дистилляции представлений учителя. За основу общей скмантики возьмем дамп Википедии и добавим к нему доменные тексты (психология, психиатрия, психотерапия). Парсим тексты и формируем корпус, немного приводим текст в порядок (устраняем самые явные проблемы). Читать далее