Robots.txt-byggare och regeltest

Bygg user-agent-grupper och visa vilken regel som vinner för en viss sökväg.

Texten behandlas lokalt och sparas inte.

Robots.txt är inte åtkomstkontroll och tar inte ensam bort en URL ur index.

…

Metod

Bygg user-agent-grupper och visa vilken regel som vinner för en viss sökväg.

Texten behandlas lokalt och sparas inte.

Robots.txt är inte åtkomstkontroll och tar inte ensam bort en URL ur index.

Robots Exclusion Protocol — IETF; 2022-09; 2026-08-14.
Introduction to robots.txt — Google Search Central; current 2026-08-19; 2026-08-19.
Robots meta tag, data-nosnippet, and X-Robots-Tag specifications — Google Search Central; current 2026-08-19; 2026-08-19.