…
Методика
Создайте группы user-agent и узнайте, какое правило действует для пути.
Конфиденциальность
Текст обрабатывается локально и не сохраняется.
Ограничения
Robots.txt не является контролем доступа и сам по себе не удаляет URL из индекса.
Первичные источники
- Robots Exclusion Protocol — IETF; 2022-09; 2026-08-14.
- Introduction to robots.txt — Google Search Central; current 2026-08-19; 2026-08-19.
- Robots meta tag, data-nosnippet, and X-Robots-Tag specifications — Google Search Central; current 2026-08-19; 2026-08-19.