Пространственное внимание на RTX 3050: эксперимент с контекстом 16K

Можно ли ускорить обучение небольшой языковой модели на длинных последовательностях, если заменить полное внимание разреженным графом, а веса связей определять расстояниями между обучаемыми координатами? Читать далее