robots.txt-Generator und -Tester

robots.txt prüfen: Crawler und URL-Pfad getrennt testen

Mit diesem robots.txt-Tester prüfen Sie, ob die eingefügten Regeln einem bestimmten Crawler den Zugriff auf einen Pfad erlauben. Im Textmodus wählen Sie den User-Agent und den zu prüfenden Pfad. Im URL-Modus wird die öffentliche robots.txt des angegebenen Hosts geladen und der eingegebene Seitenpfad für Googlebot geprüft.

Das Ergebnis beschreibt die Regelentscheidung. Es bestätigt weder die Aufnahme in den Google-Index noch die von Google gewählte kanonische URL. Eine erlaubte URL kann aus anderen Gründen nicht in den Suchergebnissen erscheinen.

1. Fügen Sie die tatsächlich verwendeten Regeln ein, nicht nur einen einzelnen Ausschnitt.
2. Geben Sie im Textmodus den Crawler-Namen und einen Pfad mit führendem Schrägstrich ein.
3. Prüfen Sie das Ergebnis und die angezeigte passende Regel.
4. Testen Sie nach einer Änderung auch wichtige Ausnahmen und die veröffentlichte Datei.

Beispiel: einen Bereich sperren und eine Ausnahme erlauben

Testen Sie /entwuerfe/notiz/ und /entwuerfe/oeffentlich/anleitung/ getrennt. Die speziellere passende Regel entscheidet; bei gleich spezifischen widersprüchlichen Regeln hat Allow Vorrang. Kontrollieren Sie außerdem, ob eine eigene User-Agent-Gruppe für den gewünschten Crawler existiert.

User-agent: *
Disallow: /entwuerfe/
Allow: /entwuerfe/oeffentlich/

robots.txt ist keine Zugriffssicherung

Eine robots.txt gilt für ihren Host, ihr Protokoll und ihren Port. Die Datei der Hauptdomain steuert nicht automatisch eine Subdomain. Verwenden Sie Authentifizierung für vertrauliche Inhalte. Soll Google eine noindex-Anweisung lesen, muss die Antwort abrufbar bleiben.

Der Texttest prüft Regeln, keine Serververfügbarkeit. Kontrollieren Sie bei Problemen zusätzlich den Status der veröffentlichten Datei, Weiterleitungen und die genaue URL in der Search Console. Wiederholen Sie die Prüfung nach der Bereitstellung; eine lokale Freigabe garantiert keine Indexierung.

Methode

Bewertet Regeln nach Crawler und Pfad und erstellt eine lesbare Datei mit Hinweisen.

Wie Suchmaschinen crawlen, indexieren und Ergebnisse ausspielen

Datenschutz

Die Daten werden nur vorübergehend verarbeitet, um das Ergebnis zu erzeugen. CSV-Dateien werden ausschließlich in diesem Browser ausgewertet und weder hochgeladen noch gespeichert.

Grenzen

robots.txt steuert regelkonformes Crawling, entfernt bekannte URLs aber nicht aus dem Index.