清晰、可执行的结果
- 每个受支持的爬虫是否有独立 User-agent 规则，还是继承通配规则。
- 对你输入的页面生效的最具体 Allow 或 Disallow 路径。
- robots.txt 是缺失、可读取还是暂时不可用，避免把“无法确认”误报成“允许”。
所有免费工具
AI 搜索访问
AI 爬虫访问检查器
查看 OpenAI、Anthropic、Perplexity 与 Google 的搜索及训练爬虫能否访问指定页面。
免费使用 无需登录查看每项结果背后的规则
要 Surpasso 持续完成吗？Surpasso 持续监控爬虫访问规则，并在出现新屏蔽时提醒你。
检查一个网站
输入域名或具体页面，检查网站公开发布的爬虫规则。
等待检查
结果来自网站当前公开返回的信息；无法确认时会明确显示“未知”。
关于这个工具
此检查读取网站公开的 robots.txt，并针对具名的 AI 搜索与训练爬虫判断规则。结果会展示实际匹配的规则，而不是用一个无法解释的分数代替真实配置。
如何理解结果
允许
公开规则没有阻止该爬虫访问测试路径，但不代表它一定会抓取、收录、引用或用于训练。
阻止
匹配到的 Disallow 规则比其他 Allow 规则更具体。修改前应先核对具体 User-agent 分组和路径。
未知
工具无法确认公开策略，通常是因为 robots.txt 未能读取。建议稍后重试，并查看 CDN 或防火墙日志后再判断。
使用边界与来源
- robots.txt 是爬虫指令，不是身份验证或安全控制。
- 用户主动触发的抓取代理，可能与自动搜索或训练爬虫采用不同规则。
- 此检查无法证明 CDN、WAF、Bot 管理器、登录墙或地域策略一定允许实际请求。
常见问题
可以允许 AI 搜索但阻止模型训练吗？
通常可以。部分服务商会为不同用途发布独立 User-agent。应按服务商分别设置规则、记录策略，并在上线后重新检查。
阻止 Google-Extended 会让页面退出 Google 搜索吗？
Google 将 Google-Extended 定义为特定生成式 AI 用途的控制项，而不是 Google 搜索收录或排名控制项。