[Перевод] Как ИИ-нагрузки меняют автомасштабирование в Kubernetes

habrahabr.ru · world
Full story

The article examines how AI workloads are changing autoscaling in Kubernetes. It explains that Kubernetes relies on two control loops: the scheduler places pods on existing nodes, while the autoscaler adds nodes when pods cannot be placed. This separation of duties worked well for ten years, according to the text.

Kubernetes обеспечивает работу значительной части контейнеризованного ПО в мире благодаря разделению обязанностей между двумя циклами управления, которым прежде редко требовалось взаимодействовать. Планировщик размещает поды на существующих узлах, а автоскейлер добавляет узлы, когда поды негде разместить. Десять лет такая архитектура работала хорошо: вычислительные ресурсы были в основном взаимозаменяемыми, и каждый цикл мог действовать, почти ничего не зная о решениях другого. ИИ-нагрузки и ускорители, на которых они выполняются, изменили условия. Для большинства задач такое разделение по-прежнему подходит, но темпы развития ИИ заставляют пересмотреть его ограничения. Проблема проявляется в ситуации, знакомой всем, кто работает с GPU: под не удаётся разместить, хотя доступные мощности кластера ещё не исчерпаны. Пока под ждёт, дорогостоящие ускорители могут простаивать. Первое предположение — в регионе закончились ресурсы, и иногда причина действительно в этом. Но бывает, что мощности доступны, а под всё равно остаётся в состоянии Pending: автоскейлер готов добавить узел, который планировщик не сможет использовать. Автоскейлер отвечает на вопрос, для которого его создали: нужно ли добавить узел. Однако сначала нужно понять, подходит ли конфигурация этого узла для нагрузки. Команда VK Tech перевела статью о том, какую часть проблемы сообщество уже решило, как планирует справиться с остальным и как автоскейлер сможет лучше учитывать работу планировщика. Читать далее

Read full article → Compare