Конструктор и тест правил robots.txt

Методика

Создайте группы user-agent и узнайте, какое правило действует для пути.

Как поисковые системы обходят, индексируют и показывают страницы?

Конфиденциальность

Текст обрабатывается локально и не сохраняется.

Ограничения

Robots.txt не является контролем доступа и сам по себе не удаляет URL из индекса.