Под капотом современных ИИ-сервисов: KV-кэш, батчинг, квантизация и серверное железо
Sergey Kovalev, a product manager for dedicated servers at Selectel, walks through what happens after a user sends a request through a website or app. The request passes through several systems, each handling its own task on the way to a detailed and possibly correct answer. He promises to explain the server infrastructure behind modern AI services, including KV cache, batching, quantization and server hardware.
Итак, вы отправляете запрос через сайт или приложение. В этот момент начинается его путь к подробному и, возможно, корректному ответу. По дороге запрос проходит через несколько систем, причем каждая выполняет свою задачу. Давайте разберем этот процесс. Всем привет! С вами Сергей Ковалёв, менеджер продукта Выделенные серверы в Selectel . Сегодня расскажу, как устроена серверная инфраструктура ИИ-сервисов, с которыми каждый день работают менеджеры, поддержка, продавцы и специалисты сотен других профессий. Разберемся, почему качественный ИИ-сервис — это не только LLM, агент и GPU с большим объемом RAM, но и балансировщик, API, nginx, NVLink и другие компоненты. Подробности под катом. Читать далее