Robots.txt-byggare och regeltest
Bygg user-agent-grupper och visa vilken regel som vinner för en viss sökväg.
Texten behandlas lokalt och sparas inte.
Robots.txt är inte åtkomstkontroll och tar inte ensam bort en URL ur index.
Metod
Bygg user-agent-grupper och visa vilken regel som vinner för en viss sökväg.
Integritet
Texten behandlas lokalt och sparas inte.
Begränsningar
Robots.txt är inte åtkomstkontroll och tar inte ensam bort en URL ur index.
Primärkällor
- Robots Exclusion Protocol — IETF; 2022-09; 2026-08-14.