Self-Service Data Platform на StarRocks: 3 инженера, 25 аналитиков и 0 тестовых стендов
Vitaly, head of a data engineering team at a group of companies developing and supporting a B2B fintech platform, describes building a self-service data platform on StarRocks. Two years ago the team had Oracle, with long query waits and legacy procedures running to thousands of lines of code. The team now uses StarRocks, Airflow and dbt, and 25 analysts build data marts independently through Git. The setup involves three engineers and no test environments.
Привет, Хабр! Меня зовут Виталий, я руководитель команды инженеров данных в группе компаний, которая занимается разработкой и поддержкой В2В финтех-платформы. Два года назад мы получили в свое распоряжение Oracle — с часами ожидания запросов и legacy процедурами на тысячи строк кода. Сейчас у нас StarRocks, Airflow, dbt и 25 аналитиков, которые самостоятельно собирают витрины через Git. Основные витрины, которые раньше строились десятки минут, теперь отдаются за секунды: по статистике за последнюю неделю 99% всех запросов укладываются в 14 секунд. При этом мы не покупали dev-кластер и не нанимали новых инженеров данных. В статье поделюсь опытом, как мы к этому пришли. Будет полезно тем, кто хочет организовать производительную аналитическую платформу без увеличения инфраструктурных затрат и расширения штата. Читать далее