Cloudflare 屏蔽 AI 爬虫：对外链意味着什么

Mattew Born•2026年10月2日•7 分钟阅读

一道刷光不锈钢闸门矗立于白色摄影棚地面，构成画框，将翠绿玻璃链扣置于其中，决定哪些爬虫能够访问

2026 年 9 月 15 日,Cloudflare 翻转了一项默认设置,影响到五分之一的网络,并悄然改变了反向链接能为你做的事。如今,在 Cloudflare 保护的页面上,默认情况下会屏蔽“混合用途”的 AI 爬虫,但 Googlebot 等经典搜索爬虫仍然可以正常抓取。对于购买外链的人来说,这造成了此前并不存在的一种分化:一个链接在 Google 搜索中依然可以传递全部价值,同时却传递 no 指向AI搜索引用的价值，仅因捐赠站点的机器人设置所致。以下是发生的变化、为何它对您的链接画像重要，以及付款前对捐赠站点进行的一项必要检查。

摘要

内容: 自 2026 年 9 月 15 日,Cloudflare默认阻止在含广告页面上混合搜索、训练和代理功能的爬虫。单用途搜索爬虫如 允许 Googlebot 抓取；“混合用途”以及训练/代理爬虫会被屏蔽。
它影响谁： 新默认设置适用于 新域名和免费套餐。已接入 Cloudflare 的现有站点不会自动变更，但任何站长都可以自行开启该功能。
按爬取付费 / 按使用付费： Cloudflare 允许发布者将每个爬虫设置为允许（Allow）、收费（Charge）或屏蔽（Block），其按使用付费（Pay Per Use）模式（2026 年 7 月 1 日宣布）会在他们的内容出现在 AI 回答中时向他们支付费用。
对外链的意义： 如果 GPTBot、ClaudeBot 或 PerplexityBot 无法抓取你所投放链接的捐赠方页面，那么该链接就无法为 AI 搜索的引用提供价值，即使它对传统的 Google SEO 而言无可挑剔。
新增的检查项： 在为 AI 可见度购买链接之前，请验证该出链方对 AI 爬虫是可访问的，而不仅仅是它的 DR 不错。

Cloudflare 实际做出的改变

Cloudflare 的立场是：内容由创作者决定，而不是 AI 公司。Pay-per-crawl 的公告中这样写道："如果创作者希望屏蔽所有 AI 爬虫抓取其内容，他们应该能够做到。如果创作者希望允许部分或全部 AI 爬虫免费抓取其内容，他们也应该能够做到。"9 月 15 日的调整把这一原则变成了默认设置。

机制很重要。在广告支持的页面上，Cloudflare 现在在培训并且代理默认分类，并屏蔽那些未能清晰区分自身行为用途的“混合用途”爬虫。纯粹 search 爬虫仍被允许，这就是 Googlebot 不受影响的原因。发布者还可以选择加入 Pay Per Crawl，将每个爬虫设置为三种状态之一——“允许”（免费）、“收费”（要求付款）或“屏蔽”——由 Cloudflare 充当交易记录商。较新的 Pay Per Use 模型于 2026 年 7 月 1 日发布，在输出事件上向发布者付费，即当其内容在 AI 生成的答案中出现时支付，而不是每次抓取时支付。

一个至关重要的范围细节：该默认设置被应用于 新域名和免费套餐。一个早已接入 Cloudflare 的成熟站点不会在 9 月 15 日骤然切换。但这种倾向对链接买家而言至关重要，因为大量廉价、新搭建的捐赠站点，恰好是受到这次影响最大的新域名、免费套餐类站点。

为什么这对你的反向链接很重要

只有当反向链接所在的页面能被希望影响的读取者读到，它才有作用。对于传统 SEO，该读取者是 Googlebot——而 Googlebot 仍能穿过 Cloudflare 的新默认设置。对于 AI 搜索，读取者是另一套完全不同的机器人，而它们正是被拒之门外的对象。结果是，单个链接中出现了两套渠道的分裂：

爬虫	目的	Cloudflare 默认设置（广告页面）	对您链接的影响
Googlebot	传统搜索	允许	Google 排名的全部价值
GPTBot（OpenAI）	培训 / 代理	已封禁	无法进入 ChatGPT 回答结果
ClaudeBot（Anthropic）	培训 / 代理	已封禁	无法进入 Claude 回答结果
PerplexityBot	智能体 / 答案引擎	已封禁	无法进入 Perplexity 引用来源

把这视作对如今众多链接购买者所追求的 AI 可见性目标的警告。我们在前文已讨论过关于 AI 引用的链接来自哪里的文章表明越来越多的外链预算被用于被 ChatGPT 和 Perplexity 引用,而不仅仅是排在 Google 首页。如果捐赠页面已被 Cloudflare 新版默认设置屏蔽,这笔钱对 AI 引用的贡献便为零 —— AI 爬虫根本看不到该链接。对纯粹的 Google SEO 而言,该链接是有效的;但对 AI 搜索而言,它可能形同隐身。

您购买的捐赠方可能对 AI 已经不可见

这并非假设。一个被放在 Cloudflare 免费套餐上的新建网站上的廉价链接，按默认设置，很可能正在屏蔽所有 AI 爬虫。靠 DR 分数或流量图根本无法察觉。检查方法很简单，但几乎没人去做：

以 AI 爬虫身份抓取该页面。 用 GPTBot 或 ClaudeBot 的 user-agent 请求捐赠方 URL，看拿到的是正文还是拦截。出现 403 或验证页面，说明该链接对该引擎不可见。
读取 robots.txt。 显式 Disallow 针对 GPTBot、ClaudeBot、Google-Extended 或 PerplexityBot 的规则，是网站主动拒绝 AI 的直接信号。
检查它是否是免费计划下的新域名。 这些正是 Cloudflare 默认要保护的属性。一个新注册的捐赠域名属于风险最高的情况。
确认页面确实能被爬虫正常渲染。 放在只有登录用户才能看到的内容里的链接，对任何爬虫（包括 AI 爬虫）都不会传递任何价值。

为AI可见度购买链接前需要检查什么

如果你的目标包括被 AI 引擎引用,那么捐赠方的爬虫策略已经升级为第一梯队的采购标准,与相关性和真实流量并列:

AI 爬虫访问。 捐赠方页面应允许 GPTBot、ClaudeBot 和 PerplexityBot 抓取其内容。这是一个新的、决定性的信号，也是目前市场上尚未加以核查的信号。
Googlebot 访问。 默认设置下仍然允许,但还是要确认 —— 一个配置错误的站点可能会阻止一切。
真实流量与相关性。 不变。一个没有读者、主题也不匹配的可达页面,依然是弱链接。
成熟稳定，非新近搭建。 新域名、免费套餐的捐赠站点最有可能屏蔽 AI 爬虫，同时在其他所有方面也是质量最低的投放位。

贯穿始终的结论是：AI 可及性与链接质量指向同一个方向。那些默认屏蔽 AI 爬虫的链接源，恰恰大概率是你本就应避开的廉价、新建、免费版站点。

这让链接买家何去何从

Cloudflare 刚刚把捐赠者（donor）的机器人策略变成了链接价值的一部分。投放在一个真实、成熟、允许 AI 爬虫访问的网站上，既能提升 Google 排名，也能为 AI 引用提供素材。而投放在一个新建、堆满广告、使用免费套餐的网站上，可能两者都带不动。这正是我们 Rixot 寻找收录位：是可被搜索和 AI 爬虫实际访问到的、有真实流量的成熟捐赠者站点，而不是在指标工具里看起来不错、却被真正重要的搜索引擎挡在门外的一次性域名。随着 AI 搜索持续蚕食点击量，“AI 究竟能不能看到这条链接”不再是技术细节，而成了核心问题。

常见问题

Cloudflare 会屏蔽 Googlebot 吗?

不能。Cloudflare 于 2026 年 9 月 15 日启用的默认设置，会拦截广告支持页面上的混合用途与训练/代理型 AI 爬虫，但 Googlebot 这类单一用途的搜索爬虫依然被允许。经典 Google SEO 不受该默认设置影响。

Cloudflare 默认拦截了哪些 AI 爬虫？

训练和智能体类别的爬虫，以及不区分其功能的“混合用途”爬虫——实际上包括 GPTBot、ClaudeBot、PerplexityBot 等。该屏蔽默认适用于新域名和免费套餐的广告支持页面。

这对我的外链有什么影响？

如果承载你链接的捐赠方页面屏蔽了 AI 爬虫，那么该链接就无法在 ChatGPT、Claude 或 Perplexity 中为引用做出贡献，尽管它在 Google 搜索中仍能传递价值。对于 AI 可见性的目标而言，屏蔽 AI 的捐赠方链接实际上等同于失效。

如何检查捐助方是否屏蔽了 AI 爬虫？

使用 GPTBot 或 ClaudeBot 用户代理抓取该页面，观察获取的是内容还是 403/挑战页，并阅读站点的 robots.txt 中针对 GPTBot、ClaudeBot、Google-Extended 或 PerplexityBot 的 Disallow 规则。使用 Cloudflare 免费套餐的新域名风险最高。