Tvorca a test pravidiel robots.txt
Vytvorte skupiny user-agent a zistite víťazné pravidlo pre cestu.
Text sa spracuje lokálne a neukladá sa.
Robots.txt nie je riadenie prístupu a sám neodstráni URL z indexu.
Metóda
Vytvorte skupiny user-agent a zistite víťazné pravidlo pre cestu.
Súkromie
Text sa spracuje lokálne a neukladá sa.
Obmedzenia
Robots.txt nie je riadenie prístupu a sám neodstráni URL z indexu.
Primárne zdroje
- Robots Exclusion Protocol — IETF; 2022-09; 2026-08-14.