Generator i tester robots.txt

Metoda

Buduj grupy user-agent i zobacz regułę wygrywającą dla podanej ścieżki.

Jak wyszukiwarki odkrywają, indeksują i wyświetlają strony?

Prywatność

Treść jest analizowana lokalnie i nie jest zapisywana.

Ograniczenia

Robots.txt nie jest kontrolą dostępu i sam nie usuwa URL-a z indeksu.