AI-краулеры и GEO: почему robots.txt разрешает обход, а сайт остаётся недоступным
- Words
- 74
- Chars
- 550
- AI summary
- Yes
An open robots.txt does not mean an AI crawler has actually received the page. CDN, WAF, rate limits and caching sit between robots.txt and the application. A failure at that stage can turn a discussion of citability in AI search into a dispute about content the system may never have read. The article proposes checking access layer by layer: the bot's purpose, confirmation of its origin, the HTTP response and the document's contents.
Открытый robots.txt ещё не означает, что робот получил страницу. Между ним и приложением стоят CDN, WAF, ограничения частоты и кеш. Ошибка на этом участке превращает обсуждение цитируемости в AI-поиске в спор о контенте, который система могла вообще не прочитать. Разберём проверку доступа по слоям: назначение робота, подтверждение его происхождения, HTTP-ответ и содержимое документа. Отдельно — экспериментальный Web Bot Auth и небольшой Python-разборщик наблюдений, который не выдаёт подмену User-Agent за настоящий визит поисковика. Читать далее
Open article