Robots.txt-byggare och regeltest

Metod

Bygg user-agent-grupper och visa vilken regel som vinner för en viss sökväg.

Hur genomsöker, indexerar och visar sökmotorer innehåll?

Integritet

Texten behandlas lokalt och sparas inte.

Begränsningar

Robots.txt är inte åtkomstkontroll och tar inte ensam bort en URL ur index.