[Перевод] DataFusion — не только для аналитики: как ускорить точечные запросы почти в 8 раз

habrahabr.ru · world
Full story

DataFusion can process large data volumes, but finding a single row among millions can be slowed by even small overheads. Tuning Parquet settings and optimizing query execution raised point-read throughput almost eightfold. The same changes cut response time to 0.2 ms.

DataFusion умеет обрабатывать большие объёмы данных, но насколько хорошо он справляется с поиском одной строки среди миллионов? При точечных запросах даже небольшие накладные расходы могут заметно снижать пропускную способность. Разберём, как настройки Parquet и оптимизация выполнения запросов помогли ускорить точечное чтение почти в 8 раз и сократить время отклика до 0,2 мс. Разобрать оптимизации

Read full article → Compare