robots.txt作成・ルールテスター
ユーザーエージェントとパスに適用される最長一致ルールを示します。
入力はブラウザー内だけで処理され、送信・保存・記録されません。
robotsはクロール制御であり、認証やインデックス削除ではありません。
方法
ユーザーエージェントとパスに適用される最長一致ルールを示します。
プライバシー
入力はブラウザー内だけで処理され、送信・保存・記録されません。
限界
robotsはクロール制御であり、認証やインデックス削除ではありません。
情報源
- Robots Exclusion Protocol — IETF; 2022-09; 2026-08-14.