Неделю гонял 14 локальных LLM на мини-ПК с Ryzen AI Max+ 395. Цифры, грабли и что я оставил себе
A week-long test ran 14 local LLMs on a GMKtec EVO-X2 mini-PC with 96 GB of memory, Ubuntu 26.04, LM Studio, and Q4 quantizations. Twelve models took part in the qualifying round; four leaders and two new contenders downloaded afterward made the final, bringing the total tested to 14. Qwen3.8 27B produced 12.8 tokens per second, while Gemma 4 26B A4B reached 63 on the same hardware, even though their files were almost the same size. Context window size did not affect speed or scores when the request stayed the same.
Машина GMKtec EVO-X2 на 96 ГБ, Ubuntu 26.04, LM Studio, кванты Q4. В отборочном круге было 12 моделей. В финал вышли четыре лидера и два новых претендента, которых я докачал уже после отбора, так что всего через тесты прошло 14. Qwen3.8 27B выдаёт 12,8 токена в секунду, а Gemma 4 26B A4B на том же железе 63, хотя файлы у них почти одного размера. Размер окна контекста на скорость и баллы не повлиял, если запрос один и тот же. А вот длинный контекст модели читают минутами, 200K токенов занимают от 8 до 23 минут. На длинном контексте лучше всех отработала Qwen3.8, и это главная причина, по которой она у меня осталась. В памяти теперь постоянно подгружены две модели. Gemma 4 26B Uncensored отвечает в разговорном боте, Qwen3.8 27B с MTP берёт задачи сложнее и фоновую работу. Читать далее