Ежедневный ряд подписчиков в MAX: публичный эндпоинт, четыре грабли и почему not_found — не измерение

<img src="https://habrastorage.org/getpro/habr/upload_files/583/533/2f9/5835332f9e6c5b4a77c2bbc2f9a72f73.png" /><p>У мессенджера MAX нет публичного API со статистикой каналов. Числа есть у каталогов-агрегаторов, но они чужие и заморожены с 10 июля. Нам нужен был свой ряд подписчиков — и мы полгода снимаем его каждую ночь с публичного data-эндпоинта max.ru.</p><p>Ниже — как устроен сбор и четыре места, где мы ошиблись. Самая дорогая ошибка стоила трёх ночей молчащего ряда при зелёном логе и exit 0: парсер на любую неудачу писал один статус not_found, а под него попадали три разных события — канала нет, max.ru сменил формат, нас затроттлило. Пока они не разделены, скрипт ничего не измеряет — он производит число, похожее на измерение.</p> <a href="https://habr.com/ru/articles/1080198/?utm_source=habrahabr&amp;utm_medium=rss&amp;utm_campaign=1080198#habracut">Читать далее</a>