⚖ Compare news

Put up to three stories side by side. Pick IDs from any article URL: /compare?id=123&id=456

AI-краулеры и GEO: почему robots.txt разрешает обход, а сайт остаётся недоступным

habrahabr.ru ·Russian Federation · tech
Words
74
Chars
550
AI summary
Yes
Full story

An open robots.txt does not mean an AI crawler has actually received the page. CDN, WAF, rate limits and caching sit between robots.txt and the application. A failure at that stage can turn a discussion of citability in AI search into a dispute about content the system may never have read. The article proposes checking access layer by layer: the bot's purpose, confirmation of its origin, the HTTP response and the document's contents.

Открытый robots.txt ещё не означает, что робот получил страницу. Между ним и приложением стоят CDN, WAF, ограничения частоты и кеш. Ошибка на этом участке превращает обсуждение цитируемости в AI-поиске в спор о контенте, который система могла вообще не прочитать. Разберём проверку доступа по слоям: назначение робота, подтверждение его происхождения, HTTP-ответ и содержимое документа. Отдельно — экспериментальный Web Bot Auth и небольшой Python-разборщик наблюдений, который не выдаёт подмену User-Agent за настоящий визит поисковика. Читать далее

Open article