Активировать мало — недостаточно: почему AI-роутеру могут понадобиться альтернативные стратегии

<img src="https://habrastorage.org/getpro/habr/upload_files/5f2/d26/80d/5f2d2680de57404fb6619dac53643cbb.png" /><p>Если отбросить числа, идея выглядит просто. Системе доступна большая ёмкость, но для каждого небольшого шага она использует не всё сразу.</p><p>При этом «активируется мало» не означает «вся система помещается в маленькую видеокарту». Веса нужно где-то хранить и вовремя доставлять, а память и задержка зависят ещё от контекста, кешей и обмена данными. Для моей идеи малых моделей это такое же ограничение: экономию придётся измерять для всей системы.</p><p>Представим крупную инженерную организацию. В ней могут работать специалисты по данным, безопасности, инфраструктуре, интерфейсам и машинному обучению. Для обсуждения качества видеопотока не обязательно одновременно собирать всю компанию. Нужны те, чьи компетенции относятся к текущему вопросу.</p> <a href="https://habr.com/ru/articles/1078776/?utm_source=habrahabr&amp;utm_medium=rss&amp;utm_campaign=1078776#habracut">Погружаемся в статью</a>