Конструктор и тест правил robots.txt

Создайте группы user-agent и узнайте, какое правило действует для пути.

Текст обрабатывается локально и не сохраняется.

Robots.txt не является контролем доступа и сам по себе не удаляет URL из индекса.

Методика

Создайте группы user-agent и узнайте, какое правило действует для пути.

Текст обрабатывается локально и не сохраняется.

Robots.txt не является контролем доступа и сам по себе не удаляет URL из индекса.