Сколько видеопамяти нужно LLM: считаем веса, KV-кэш и запас на одновременных пользователей

habrahabr.ru · world
Full story

Answering which GPU is needed for a model with N billion parameters often defaults to “get more memory,” but the requirement can be estimated with simple calculations. The calculation needs to cover more than model weights, since memory often runs out because of KV cache when about ten users with long context use a service. The article provides two formulas, a table for Llama 3.1 and Qwen2.5, and a breakdown of three typical scenarios.

Вопрос «какая видеокарта нужна под модель N миллиардов параметров» обычно получает ответ «возьмите побольше». Но это можно посчитать на салфетке, и считать нужно не только веса модели: память чаще кончается из-за KV-кэша, когда к сервису приходит десяток пользователей с длинным контекстом. Две формулы, таблица для Llama 3.1 и Qwen2.5 и разбор трёх типовых сценариев. Читать далее

Read full article → Compare