Xiaomi MiMo: триллион параметров, из которых работает четыре процента

Xiaomi собрала не одну модель, а целое семейство — от 7B-малыша до открытого MoE на триллион параметров. Разбираю, что в нём устроено интереснее всего. Читать далее