⚖ Compare news

Put up to three stories side by side. Pick IDs from any article URL: /compare?id=123&id=456

27B-модель на четырёх V100 в 2026 году: форк vLLM, INT4 на Volta и контекст 262K

habrahabr.ru ·Russian Federation · world
Words
63
Chars
394
AI summary
Yes
Full story

A production setup with four Tesla V100 cards from 2017 runs a dense Qwen3.8-27B model in INT4 with a 262,000-token context window. The model is called zubr and is hosted at ZuBrIQ (zubriq.ai); requests to it do not leave Belarus. Official vLLM does not run a 4-bit model on these cards. The setup uses a fork, and the source also covers memory loss, a MoE-versus-dense benchmark, and why the model name must never be changed.

Четыре Tesla V100 2017 года тянут в проде плотную Qwen3.8-27B в INT4 с окном 262 тысячи токенов — это модель zubr в ZuBrIQ (zubriq.ai), запросы к которой не покидают Беларусь. Официальный vLLM на этих картах 4-битную модель не запускает. Рассказываю, на каком форке это работает, куда утекает память, что показал бенчмарк MoE против dense и почему имя модели нельзя менять никогда. Читать далее

Open article