AI 爬虫检测

AI 引擎引用你的前提,是它的爬虫能读到你的内容。一键检查 12 个主流 AI 爬虫的抓取许可。

系统读取你网站的 robots.txt 并按各家平台的官方 UA 逐个判定许可状态,同时检查 llms.txt 部署情况。约 5–15 秒。详见 免责声明。

实时证据

AI 爬虫正在真实抓取本站

以下是本站服务器记录到的 AI 爬虫到访数据(近 7 天)— AI 爬虫确实在为引用你的内容而抓取。

GPTBot(OpenAI 训练)近 7 天到访 7 次最近:2026-11-03 10:16:34
ClaudeBot(Anthropic)近 7 天到访 6 次最近:2026-11-03 13:33:08
OAI-SearchBot(ChatGPT 搜索)近 7 天到访 1 次最近:2026-11-03 10:16:34
PerplexityBot近 7 天到访 1 次最近:2026-11-03 10:16:34

最近到访明细

时间爬虫抓取路径
2026-11-03 13:33:08ClaudeBot(Anthropic)/crawlers/
2026-11-03 13:33:08ClaudeBot(Anthropic)/en/
2026-11-03 12:44:18ClaudeBot(Anthropic)/tools/
2026-11-03 12:44:18ClaudeBot(Anthropic)/
2026-11-03 12:42:00ClaudeBot(Anthropic)/
2026-11-03 10:16:34PerplexityBot/
2026-11-03 10:16:34ClaudeBot(Anthropic)/
2026-11-03 10:16:34OAI-SearchBot(ChatGPT 搜索)/
2026-11-03 10:16:34GPTBot(OpenAI 训练)/
2026-11-03 01:37:33GPTBot(OpenAI 训练)/disclaimer/
2026-11-03 01:37:33GPTBot(OpenAI 训练)/report/
2026-11-03 01:37:33GPTBot(OpenAI 训练)/tools/
2026-11-03 01:37:33GPTBot(OpenAI 训练)/faq/
2026-11-03 01:37:33GPTBot(OpenAI 训练)/wiki/geo-antipatterns/
2026-11-03 01:37:33GPTBot(OpenAI 训练)/

为什么 AI 爬虫许可很重要

被 Disallow = 在该 AI 平台的答案里"不存在"。

AI 看不到你

robots.txt 对 GPTBot / PerplexityBot 全站 Disallow,是最常见的"AI 引用为零"根因,且站长往往并不知情。

训练与搜索是两条线

GPTBot 管训练、OAI-SearchBot 管搜索引用;禁训练不影响搜索引用,反之亦然——需要按业务目标分别决策。

显式声明最稳

多数平台尊重 robots.txt;显式 Allow + llms.txt 引导,比"不设置默认放行"更可控、更可预期。