robots.txt 创建/规则测试器

指示应用于用户代理和路径的最长匹配规则。

robots.txt,用户代理,路径
robots.txt

robots.txt ≤ 500 KiB · Allow / Disallow ≤ 10,000

您的输入仅在您的浏览器中处理,不会发送、保存或记录。

机器人用于爬行控制,而不是身份验证或取消索引。

方法

指示应用于用户代理和路径的最长匹配规则。

隐私

您的输入仅在您的浏览器中处理,不会发送、保存或记录。

限制

机器人用于爬行控制,而不是身份验证或取消索引。

信息来源