清晰、可执行的结果
- HTTP 可用性，以及响应是否为可解析的 robots 文本。
- User-agent 分组、Allow / Disallow 指令、可疑格式和全站屏蔽。
- 对输入路径实际生效的规则，以及文件中公开的 Sitemap 地址。
所有免费工具
抓取控制
Robots.txt 检查与修复
检查抓取规则、发现意外屏蔽、查找 Sitemap，并生成更安全的修改草稿。
免费使用 无需登录提前发现危险规则
要 Surpasso 持续完成吗？Surpasso 持续监控 robots.txt，并找出会屏蔽重要页面的规则。
检查 robots.txt 文件
输入域名；也可以带上页面路径，检查该路径是否允许抓取。
等待检查
结果来自网站当前公开返回的信息；无法确认时会明确显示“未知”。
关于这个工具
使用此工具检查线上 robots.txt、测试具体页面路径、发现格式问题和 Sitemap 声明，并在不默默删除现有规则的前提下生成保守修改草稿。
如何理解结果
路径允许
测试爬虫未被该路径规则阻止，但仍可能因为 HTTP、网络、登录或渲染问题无法抓取页面。
路径阻止
展示的规则会阻止测试路径。修改生产文件前，应先确认该屏蔽是否为有意设置。
可用草稿
草稿会保留可读取的现有规则，只补充安全的基础项。它是审核辅助，不会自动替换线上文件。
使用边界与来源
- robots 规则可以限制抓取，但不能让公开链接的 URL 保密。
- 不同爬虫对非标准指令的解释可能不同；本工具聚焦标准规则。
- 无法读取的 robots.txt 会标记为未知；工具不会根据不可见内容臆造替换文件。
常见问题
应该屏蔽后台和账户页吗？
可以减少无意义抓取，但敏感页面仍必须使用真正的身份验证。robots 规则公开可见，不提供访问控制。
robots.txt 支持通配符吗？
主流搜索引擎支持常见通配写法，但标准和爬虫行为仍有差异。应优先使用能够表达意图的最简单路径规则。