Сколько сайтов деиндексируется в результате Google апдейтов? Моё исследование на основе открытых данных
Это исследование родилось, когда я готовилась к докладу на конференции ITSConf со своим материалом по трендам в IT-маркетинге в конце декабря 2024 года. Один из блоков естественным образом был посвящён волатильности выдачи Google и его апдейтам. И в процессе сбора и анализа информации у меня в очередной раз возник вопрос: а каков же на самом деле масштаб деиндексации?В этой небольшой статье не будет чётких и выверенных ответов на данный вопрос. Но будут интересные цифры, которые могут навести каждого из нас на определённые мысли или обратить внимание на источники, позволяющие извлекать дополнительную информацию из стандартных отчётов.Шаг №1. Отчёт originality.aiВо время сбора информации первым делом, конечно, на глаза попалось громкое исследование от сервиса originality.ai, которое было проведено в период мартовского апдейта Google в 2024 году. Исследований такого характера и масштаба в принципе немного, поэтому материал получился заметным и обсуждаемым. Команда сервиса зафиксировала трафик 79 000 сайтов до апдейта (в феврале 2024 года), а затем — повторно проверила их наличие в выдаче после обновления.Оказалось, что около 1 500 сайтов были деиндексированы, что составляет примерно 2% от общего количества попавших в эксперимент сайтов.Полторы тысячи в рамках Google — немного. Но если масштабировать эту долю на всё информационное поле интернета, которое насчитывает миллиарды сайтов, то в гипотетической пропорции речь может идти о миллионах ресурсов.По словам Гэри Иллиса, в декабрьском выпуске подкаста Search Off The Record за 2023 год он сообщил, что поисковая система ежедневно проверяла около четырёх миллиардов хостов на наличие файла robots.txt. Читать далее