Tvorca a test pravidiel robots.txt

Metóda

Vytvorte skupiny user-agent a zistite víťazné pravidlo pre cestu.

Ako vyhľadávače prehľadávajú, indexujú a zobrazujú stránky?

Súkromie

Text sa spracuje lokálne a neukladá sa.

Obmedzenia

Robots.txt nie je riadenie prístupu a sám neodstráni URL z indexu.