…
Metoda
Buduj grupy user-agent i zobacz regułę wygrywającą dla podanej ścieżki.
Prywatność
Treść jest analizowana lokalnie i nie jest zapisywana.
Ograniczenia
Robots.txt nie jest kontrolą dostępu i sam nie usuwa URL-a z indeksu.
Źródła pierwotne
- Robots Exclusion Protocol — IETF; 2022-09; 2026-08-14.
- Introduction to robots.txt — Google Search Central; current 2026-08-19; 2026-08-19.
- Robots meta tag, data-nosnippet, and X-Robots-Tag specifications — Google Search Central; current 2026-08-19; 2026-08-19.