现象

工具制造商改版上线并启用 CDN 防护后,Google 排名正常,但原本零星的 AI 引用询盘完全消失。

排查过程

  • robots.txt 检查:正常,无任何 AI 爬虫禁止规则。
  • 服务器访问日志:OAI-SearchBot、PerplexityBot 的请求全部返回 403。
  • 定位:CDN 的"拦截确定型机器人"默认策略——AI 爬虫 UA 被当作可疑机器人拦截。

这类拦截的特点是静默:没有任何报错,robots.txt 正常,站长毫无感知,只有日志能看到。

修复

  • WAF 为知名 AI 爬虫 UA 配置允许规则。
  • robots.txt 显式声明许可(双保险)。
  • 用本站 GEO 排名检测复测,确认六项 AI 爬虫许可全部通过。

结果

6 周后 Perplexity 引用恢复,AI 渠道询盘回到改版前水平并小幅超越。

可复制经验

任何安全策略变更(上 CDN、换防火墙、启用新安全插件)后,必须把"AI 爬虫可抓取"列入上线检查清单。这条通路静默失效时,你失去的询盘不会留下任何投诉。