Впихнуть невпихуемое
- Words
- 63
- Chars
- 409
- AI summary
- Yes
Progress is moving at an extraordinary pace. In September, running a 125-billion-parameter MoE model on a home PC looked like something only owners of server racks could do. By late October, that model runs on an RTX 5070, while a 321-billion-parameter model already runs on a single RTX 3090 with 64 GB of RAM. The article sets out to explain what makes this leap possible and what real speed the new approach delivers in practice.
Прогресс мчится невероятными темпами. Еще в сентябре запуск 125-миллиардной MoE-модели на домашнем ПК казался забавой для владельцев серверных стоек. А уже к концу октября ее спокойно крутят на RTX 5070, при этом 321-миллиардная модель уже работает на одиночной RTX 3090 с 64 ГБ ОЗУ. Давайте разберемся, за счет чего возможен такой рывок и какую реальную скорость выдает новый подход на практике. Читать далее
Open article