Все русскоязычные стримы в Postgres раз в 10 минут: 2 млн строк вместо 30 млн и баг, в котором я три недели винил VK
Maxim, a developer who works on LanolStream tools for streamers with streamer lanolkid, describes storing data on Russian-language streams. Every ten minutes, an average of 7,200 channels are live on Twitch and VK Video Live. Recording each channel as a separate row would produce more than a million rows a day, so he stores aggregates instead. Over four weeks that approach produced 2 million rows, compared with 30 million. He also recounts a bug he spent three weeks blaming on VK before realizing he was looking in the wrong place.
Каждые 10 минут в русскоязычном эфире Twitch и VK Видео Live в среднем 7 200 каналов. Писать их как есть - больше миллиона строк в сутки. Я храню агрегаты, и за четыре недели вышло 2 млн строк. Расскажу, как это устроено и где я три недели искал проблему не там. Я Максим, разработчик, вечерами пишу LanolStream - инструменты для стримеров, которые мы делаем вместе со стримершей lanolkid. Стримеры часто спрашивают «во сколько лучше стримить» и «много ли у меня зрителей для моей игры». Чтобы отвечать цифрами, а не ощущениями, нужен весь рынок, а не только наши каналы. Читать далее