Единое окно инженера данных: как мы построили веб-среду разработки для 12 000 потоков данных
Nikita Kalganov, a lead data systems engineer at X5 Tech, describes how his team built a web development environment for data engineers. The team designs and develops a high-load data flow system and supports it as both the number of flows and the number of teams using it grow. The system contains more than 12,000 data flows, and that number is increasing.
Привет, Хабр! Меня зовут Никита Калганов, я ведущий системный инженер данных в X5 Tech. Мы с командой проектируем и развиваем высоконагруженную систему потоков данных и поддерживаем её в условиях постоянного роста, как по числу потоков, так и по количеству команд, которые с ней работают. В нашей системе обработки данных живёт больше двенадцати тысяч потоков данных, и их число растёт в среднем на несколько десятков в день. Всё нормально работает, но мы решили сделать её ещё лучше. В этой статье расскажу, как мы построили единое окно инженера данных, сделали собственный DDL-мигратор с поддержкой зависимостей и при этом сохранили то, что уже работает. Читать далее