[Перевод] Как ускорить локальную LLM на 50% без покупки новой видеокарты

habrahabr.ru · world
Full story

At GTC Berlin 2026, an NVIDIA workshop showed participants speeding up Qwen3-32B generation from 16.4 to 24.5 tokens per second without changing hardware. They used FP8 instead of BF16. Overall throughput also rose, but by less: from 639 to 719 tokens per second. The experiment ran on a Kubernetes cluster with four NVIDIA A100 80GB GPUs, and each participant had a separate cluster.

На GTC Berlin 2026 участники воркшопа NVIDIA смогли ускорить генерацию Qwen3-32B с 16,4 до 24,5 токена в секунду, не меняя оборудование. Для этого использовали FP8 вместо BF16. Общая пропускная способность тоже выросла, хотя и заметно меньше: с 639 до 719 токенов в секунду. Эксперимент проводили на Kubernetes-кластере с четырьмя NVIDIA A100 по 80 ГБ. У каждого участника был собственный кластер, на котором можно было разворачивать модели, менять конфигурацию и измерять производительность. Помимо квантизации, на занятии разбирали NVIDIA Dynamo, маршрутизацию запросов с учётом KV-кеша, автоматическое масштабирование и разделение prefill/decode между GPU. Материал основан на статье инженера Siim Tolk , опубликованной 4 ноября 2026 года. Читать далее

Read full article → Compare