Generator i tester robots.txt

Buduj grupy user-agent i zobacz regułę wygrywającą dla podanej ścieżki.

Reguły, user-agent i testowy URL
robots.txt

robots.txt ≤ 500 KiB · Allow / Disallow ≤ 10,000

Treść jest analizowana lokalnie i nie jest zapisywana.

Robots.txt nie jest kontrolą dostępu i sam nie usuwa URL-a z indeksu.

Metoda

Buduj grupy user-agent i zobacz regułę wygrywającą dla podanej ścieżki.

Prywatność

Treść jest analizowana lokalnie i nie jest zapisywana.

Ograniczenia

Robots.txt nie jest kontrolą dostępu i sam nie usuwa URL-a z indeksu.

Źródła pierwotne