…
Metóda
Vytvorte skupiny user-agent a zistite víťazné pravidlo pre cestu.
Súkromie
Text sa spracuje lokálne a neukladá sa.
Obmedzenia
Robots.txt nie je riadenie prístupu a sám neodstráni URL z indexu.
Primárne zdroje
- Robots Exclusion Protocol — IETF; 2022-09; 2026-08-14.
- Introduction to robots.txt — Google Search Central; current 2026-08-19; 2026-08-19.
- Robots meta tag, data-nosnippet, and X-Robots-Tag specifications — Google Search Central; current 2026-08-19; 2026-08-19.