Как Microsoft предлагает обучать модели на игровых ПК

Microsoft получила патент на распределённое обучение моделей с использованием свободных GPU домашних ПК. Разбираем, как сервер делит вычислительный граф, сколько времени уходит на передачу активаций и что происходит с градиентом, когда исполнитель возвращает его после обновления весов. Читать далее