Закупил GPU ≠ проиграл: как спроектировать ИИ-инфраструктуру и не переделывать ее после пилота
An IT team starts selecting GPU servers. The business is looking at cloud models, and developers are building the first prototype. Six months later, the chosen model does not fit in available video memory, cloud infrastructure exceeds the budget, and the purchased accelerators do not provide the needed performance under real load.
ИТ-команда начинает подбирать GPU-серверы, бизнес рассматривает облачные модели, а разработчики собирают первый прототип. Через полгода выясняется, что выбранная модель не помещается в доступную видеопамять, облачная инфраструктура выходит за рамки бюджета, а закупленные ускорители не обеспечивают необходимую производительность под реальной нагрузкой. Проблема не всегда связана с оборудованием или самой моделью, а чаще всего с последовательностью принятия решений: инфраструктуру начинают проектировать до того, как определены требования к будущему ИИ-сервису. За последний год мы в Orion soft наблюдали разные сценарии внедрения ИИ в российских компаниях: от первых экспериментов до проектов, которые готовятся к промышленной эксплуатации у крупнейших заказчиков. Как разработчик инфраструктурного ПО, мы нередко подключаемся на этапе, когда бизнес-задача уже сформулирована, модель выбрана, а оборудование закуплено. Именно тогда становятся заметны архитектурные ограничения, заложенные на еще старте. Читать далее