AI 爬虫全景：GPTBot、ClaudeBot、PerplexityBot 与许可策略

关键 UA 速查表

• GPTBot：OpenAI 抓取（含训练用途）。
• OAI-SearchBot：ChatGPT Search 联网检索——决定能否被 ChatGPT Search 引用。
• ChatGPT-User：用户实时发起的浏览请求。
• ClaudeBot / Claude-Web：Anthropic Claude 检索。
• PerplexityBot：Perplexity 检索。
• Google-Extended：Google Gemini 内容使用控制（不影响 Google 搜索收录）。
• CCBot：Common Crawl——多数大模型语料的数据源。
• Bytespider：字节跳动（豆包等）采集。

判断当前状态

打开 你的域名/robots.txt：

• 存在 User-agent: GPTBot + Disallow: / → 被显式禁止。
• 无任何相关段落 → 默认允许（但 see 下面的隐患）。
• 全局 User-agent: * + Disallow: / → 对所有爬虫全站禁止。

最大的隐患：静默拦截

比 robots.txt 更常见的失分原因是 CDN/WAF 层拦截：Cloudflare 的"Bot Fight Mode"、各类安全插件、防火墙规则会把 AI 爬虫 UA 当作"可疑机器人"直接返回 403/405。此时 robots.txt 完全正常，但内容根本到不了 AI——而且没有任何报错通知你。排查方法：查看服务器访问日志中 GPTBot/OAI-SearchBot 请求的响应码。

"训练"与"引用"是两件事

禁止 Google-Extended 不影响 Google 搜索收录与排名；禁止 OAI-SearchBot 才会让 ChatGPT Search 无法引用你。出海企业想要被引用，就不能禁检索类爬虫；是否允许训练类用途，属于品牌策略决策。

建议配置

显式声明而非依赖默认：为每个检索类 UA 写明确的 Allow 段，并每季度复查一次（平台会新增 UA）。本站 GEO 排名检测会逐项报告上述爬虫的许可状态。