⚖ Compare news

Put up to three stories side by side. Pick IDs from any article URL: /compare?id=123&id=456

Google отказывал нашему скрейперу, пока мы не поняли, что он смотрит не на IP

habrahabr.ru ·Russian Federation ·
Words
78
Chars
505
AI summary
No

Задача звучала скучно: собирать выдачу Google. Много, регулярно, через обычные резидентные прокси и без платных SERP API. Первая версия честно открывала Chrome, вбивала запрос и получала капчу. Вторая получала капчу чуть реже. А потом один IP отработал 1210 запросов подряд, и Google ни разу не попросил доказать, что мы не робот. Между этими двумя точками было двадцать экспериментов и вкладка, которая съела 3 гигабайта памяти. И главный вывод: мы всё это время думали о Google неправильно. Читать далее

Open article