⚖ Compare news

Put up to three stories side by side. Pick IDs from any article URL: /compare?id=123&id=456

[Перевод] Как развернуть Kimi K3 локально на Cerebras

habrahabr.ru ·Russian Federation · world
Words
89
Chars
616
AI summary
Yes
Full story

Deploying Kimi K3 locally on Cerebras hardware involves spreading a very large model across wafer-scale chips. A single Cerebras WSE-3T wafer has 44 GB of on-chip memory. Trillion-parameter models need terabytes just to store their weights, so the article explains how the model is divided among multiple WSE-3T wafers.

Один из самых частых вопросов, которые нам задают: как мы разворачиваем большие модели на чипах Cerebras размером с целую кремниевую пластину? На одной пластине Cerebras WSE-3T находится 44 ГБ встроенной памяти, а передовым моделям с триллионами параметров нужны терабайты только для хранения весов. В этой статье мы объясним, как распределяем большую модель между несколькими пластинами WSE-3T , чтобы запускать модели с несколькими триллионами параметров со скоростью 1000–2000 токенов в секунду и выше. В качестве наглядного примера возьмём открытую модель Kimi K3, в которой около 3 трлн параметров. Читать далее

Open article