Собираем домашний сервер для локальных LLM на доступных GPU (NVIDIA CMP 50HX)
Alexander Shcherbakov, a DevOps engineer at X5 Tech, describes building a home server for local LLMs. He previously wrote about home servers on consumer hardware. He says his lab has moved up to a server platform with two NVIDIA CMP 50HX cards, each with 20 GB of video memory. He notes he is still learning local LLMs and wants to share the results, from buying the cards and a failed first launch onward.
Привет! Меня зовут Александр Щербаков, я DevOps-инженер в X5 Tech. В одной из прошлых статей я рассказывал о домашних серверах на потребительском железе. Сегодня поговорим о том, как моя лаборатория доросла до серверной платформы и двух CMP 50HX с 20 ГБ видеопамяти каждая. С локальными LLM я пока разбираюсь и хочу поделиться тем, что получилось: от покупки карт и неудачного первого запуска до настройки сервера и замеров. Кому интересна такая затея — добро пожаловать под кат. Читать далее