Мы проверили обещанные Nvidia 15x на DFlash: получилось 2,3x

<img src="https://habrastorage.org/getpro/habr/upload_files/623/6ab/071/6236ab0712c80de84f16c2140de20167.jpg" /><p>Помните DFlash? В начале года о нём много шумели: способ ускорить любую LLM, не трогая саму модель. Nvidia тогда выкатила заголовки <em>«До 15x к пропускной способности на Blackwell»</em>. Цифра весомая, звучит как революция.</p><p>Мы, конечно, решили покрутить это вручную. Для этого взяли драфтер DFlash для Gemma 4 26B, который лежит прямо в репозитории модели, прогнали на своём стенде.</p><p><em>Но вместо 15x получили 2,3x, и только пока на карте висит один-единственный запрос… Если запустить 4 пользователей одновременно – ускорение исчезает, а на 8 параллельных запросах DFlash начинает проигрывать.</em></p><p>Сейчас расскажу, откуда берутся магические 15x и почему наши графики расходятся с вендорскими.</p> <a href="https://habr.com/ru/articles/1077598/?utm_source=habrahabr&amp;utm_medium=rss&amp;utm_campaign=1077598#habracut">Читать далее</a>