AI 引擎引用你的前提,是它的爬虫能读到你的内容。一键检查 12 个主流 AI 爬虫的抓取许可。
以下是本站服务器记录到的 AI 爬虫到访数据(近 7 天)— AI 爬虫确实在为引用你的内容而抓取。
| 时间 | 爬虫 | 抓取路径 |
|---|---|---|
| 2026-11-03 13:33:08 | ClaudeBot(Anthropic) | /crawlers/ |
| 2026-11-03 13:33:08 | ClaudeBot(Anthropic) | /en/ |
| 2026-11-03 12:44:18 | ClaudeBot(Anthropic) | /tools/ |
| 2026-11-03 12:44:18 | ClaudeBot(Anthropic) | / |
| 2026-11-03 12:42:00 | ClaudeBot(Anthropic) | / |
| 2026-11-03 10:16:34 | PerplexityBot | / |
| 2026-11-03 10:16:34 | ClaudeBot(Anthropic) | / |
| 2026-11-03 10:16:34 | OAI-SearchBot(ChatGPT 搜索) | / |
| 2026-11-03 10:16:34 | GPTBot(OpenAI 训练) | / |
| 2026-11-03 01:37:33 | GPTBot(OpenAI 训练) | /disclaimer/ |
| 2026-11-03 01:37:33 | GPTBot(OpenAI 训练) | /report/ |
| 2026-11-03 01:37:33 | GPTBot(OpenAI 训练) | /tools/ |
| 2026-11-03 01:37:33 | GPTBot(OpenAI 训练) | /faq/ |
| 2026-11-03 01:37:33 | GPTBot(OpenAI 训练) | /wiki/geo-antipatterns/ |
| 2026-11-03 01:37:33 | GPTBot(OpenAI 训练) | / |
被 Disallow = 在该 AI 平台的答案里"不存在"。
robots.txt 对 GPTBot / PerplexityBot 全站 Disallow,是最常见的"AI 引用为零"根因,且站长往往并不知情。
GPTBot 管训练、OAI-SearchBot 管搜索引用;禁训练不影响搜索引用,反之亦然——需要按业务目标分别决策。
多数平台尊重 robots.txt;显式 Allow + llms.txt 引导,比"不设置默认放行"更可控、更可预期。