⚖ Compare news

Put up to three stories side by side. Pick IDs from any article URL: /compare?id=123&id=456

Векторизованное колоночное исполнение запросов в PostgreSQL 19

habrahabr.ru ·Russian Federation · world
Words
304
Chars
2067
AI summary
Yes
Full story

The author ported a fork of Apache Cloudberry to PostgreSQL 19 as a set of extensions and described where the port falls short of the original fork. On ClickBench, modern columnar engines outperform Cloudberry by an order of magnitude. The limitation is not the MPP implementation but the PostgreSQL executor, which works with tuples in the database memory. Each tuple is processed separately, and values pass through fmgr.

На прошлой неделе я перенес форк Apache Cloudberry на PostgreSQL 19 в виде набора расширений и рассказал, где этот порт проигрывает оригинальному форку. Впрочем как и Cloudberry на ClickBench современные колоночные движки обгоняют его на порядок. И дело тут не в реализации MPP, а в исполнителе PostgreSQL - он работает с кортежами в памяти СУБД. Каждый кортеж проходит отдельно, значение проходит через fmgr, а сегменты кластера лишь добавляют число процессоров на котором крутится тот же самый цикл по строкам таблицы. Следующий логичный шаг для ускорения - векторизованный исполнитель в PostgreSQL. В открытом коде Apache Cloudberry его нет: от закрытого движка в репозитарии остались только следы - флаг create_vectorization_plan , который планировщик всегда передает как false, а также узел WindowHashAgg без реализации в адаптер PAX под VEC_BUILD , который не компилируется. Проектировать придется самому и, конечно, снова в виде расширения постгреса. Проект не требует модификации ядра PostgreSQL даже при использовании планировщика ORCA в одноузловой конфигурации без координатора на ванильной сборке PostgreSQL. Модуль pg_orca из порта Cloudberry теперь собирается без pg_core и прочих потро...

Open article