Apache Iceberg: как устроен табличный формат для озера данных

Интересно наблюдать за тем, как порой разные подходы и парадигмы обмениваются своими лучшими качествами в процессе развития. Одно из таких событий в области хранения и обработки данных — противостояние и сближение DWH и Data Lake. Как известно, DWH (Data Warehouse или хранилище данных) появился раньше, чем Data Lake (озеро данных). С ростом количества данных появилась необходимость создания и развития новой парадигмы, которая в будущем привела к созданию озера данных. С течением времени классический DWH никуда не пропал — он просто твёрдо занял свою нишу. Читать далее