Вы строите Lakehouse, а сторадж строит вам проблемы. Что делать?
newsare.net
Всем привет! Меня зовут Дмитрий Листвин, я занимаюсь аналитическим хранилищем данных в Авито. В этой статье я собрал наш опыт построения LakehousВы строите Lakehouse, а сторадж строит вам проблемы. Что делать?
Всем привет! Меня зовут Дмитрий Листвин, я занимаюсь аналитическим хранилищем данных в Авито. В этой статье я собрал наш опыт построения Lakehouse поверх объектного хранилища, как реальная аналитическая нагрузка быстро превращает «обычный S3» в самый капризный элемент всей архитектуры. Будет много про извлечение максимума производительности из Ceph: как добиться высокой пропускной способности HDD, когда поверх данных хочется запускать тяжёлые аналитические запросы. Читать далее Read more












