OLAP OVER HTTP: как отдавать большие аналитические данные через API и не положить сервис
Every day at 18:00, sales reports become available to clients, and many people click the download button at the same time. The reports can include detailed write-off reports, legal reporting, analytical exports, or API data used for further processing. At that moment, even a well-chosen storage system can become a bottleneck.
Каждый день в 18:00 клиентам становится доступна отчётность по продажам, и многие одновременно нажимают кнопку «Загрузить отчёт». Это может быть детализированный отчёт по списаниям, юридическая отчётность, аналитическая выгрузка или API, используя который клиент получает данные для дальнейшей обработки. В этот момент даже хорошо подобранное хранилище может стать узким местом. В моей практике разработки часто встречаются сценарии, когда необходимо предоставить доступ к большому количеству данных по HTTP. На первый взгляд задача выглядит простой: берём подходящее хранилище, пишем endpoint, выполняем запрос и отдаём результат пользователю. Но на практике такая схема быстро упирается в ограничения. Читать далее