Cloudflare blokkeert AI-crawlers: wat het betekent voor backlinks

Op 15 september 2026 flipte Cloudflare een standaardinstelling die een vijfde van het web raakt, en het veranderde stilletjes wat een backlink voor je kan doen. Pagina's die door Cloudflare worden beschermd blokkeren nu standaard "voor gemengd gebruik" inzetbare AI-crawlers op sites met advertentieondersteuning, terwijl klassieke zoekcrawlers zoals Googlebot gewoon door blijven lopen. Voor iedereen die links koopt ontstaat er een splitsing die er niet eerder was: een link kan nog steeds volledige waarde doorgeven voor Google-zoeken en no waarde richt AI-zoekcitaten puur vanwege de bot-instellingen van de donor. Dit is wat er veranderde, waarom het ertoe doet voor je linkprofiel, en de ene controle die je op een donor moet uitvoeren voordat je betaalt.

Wat Cloudflare werkelijk veranderde

De positie van Cloudflare is dat makers, niet AI-bedrijven, moeten beslissen wie hun content krijgt. Zoals de aankondiging van pay-per-crawl het stelde: "Als een maker alle AI-crawlers van zijn content wil blokkeren, moet hij dat kunnen doen. Als een maker sommige of alle AI-crawlers volledige gratis toegang tot zijn content wil geven, moet hij dat ook kunnen." De wijziging van 15 september maakte van dat principe een standaard.

De mechaniek is belangrijk. Op advertentiegefinancierde pagina's blokkeert Cloudflare nu crawlers in de training en agent categorieën standaard, en blokkeert "gemengd-gebruik"-crawlers die niet schoon scheiden wat ze doen. Zuivere search crawlers blijven toegestaan, en daarom wordt Googlebot niet beïnvloed. Uitgevers kunnen ook kiezen voor Pay Per Crawl, waarbij elke crawler in een van drie staten wordt gezet - "Toestaan" (gratis), "Betalen" (betaling vereisen) of "Blokkeren" - waarbij Cloudflare optreedt als merchant of record. Het nieuwere Pay Per Use-model, aangekondigd op 1 juli 2026, betaalt uitgevers bij de output-gebeurtenis, wanneer hun inhoud verschijnt in een AI-gegenereerd antwoord, in plaats van bij elke crawl.

Het cruciale scopedetail: deze standaard wordt toegepast op nieuwe domeinen en gratis abonnementen. Een gevestigde site die al op Cloudflare draait, flipt niet op 15 september. Maar die scheefheid is belangrijk voor linkkopers, omdat een groot deel van de goedkope, nieuw opgezette donor-sites precies de nieuwe-domein, gratis-plan eigenschappen zijn die dit het hardst raakt.

Waarom dit ertoe doet voor uw backlinks

Een backlink doet alleen werk als de pagina waarop deze staat kan worden gelezen door het ding dat je wilt beïnvloeden. Voor klassieke SEO is die lezer Googlebot — en Googlebot komt nog steeds door de nieuwe standaard van Cloudflare. Voor AI-zoekopdrachten zijn de lezers een andere set bots, en juist die worden nu geweerd. Het resultaat is een tweeledige splitsing in één enkele link:

Crawler	Doel	Cloudflare standaard (advertentiepagina's)	Effect op uw link
Googlebot	Klassiek zoeken	Toegestaan	Volledige waarde voor Google-rankings
GPTBot (OpenAI)	Training / agent	Geblokkeerd	Geen pad naar ChatGPT-antwoorden
ClaudeBot (Anthropic)	Training / agent	Geblokkeerd	Geen pad naar Claude-antwoorden
PerplexityBot	Agent / antwoordengine	Geblokkeerd	Geen pad naar Perplexity-citaten

Lees dat als een waarschuwing voor het AI-zichtbaarheidsdoel dat zoveel linkkopers nu hebben. We bespraken in onze stuk over waar AI-geciteerde links vandaan komen dat een groeiend deel van linkbudgets gericht is op vermeld worden door ChatGPT en Perplexity, niet alleen ranken op pagina één. Als de donorpagina achter Cloudflare's nieuwe default zit, koopt dat geld niets voor AI-citaten - de AI-crawlers zien de link nooit. Voor pure Google-SEO is de link prima. Voor AI-zoeken is hij mogelijk onzichtbaar.

De donor die je kocht is mogelijk al onzichtbaar voor AI

Dit is niet hypothetisch. Een goedkope link geplaatst op een splinternieuwe site op een gratis Cloudflare-plan blokkeert, volgens deze standaard, waarschijnlijk elke AI-crawler op dit moment. Je zou het nooit weten uit een DR-score of een verkeersgrafiek. Controleren is eenvoudig, en het is de controle die bijna niemand uitvoert:

• Haal de pagina op als een AI-crawler. Vraag de donor-URL op met een GPTBot- of ClaudeBot-user-agent en kijk of je de content krijgt of een blokkering. Een 403 of een uitdagingspagina betekent dat de link onzichtbaar is voor die engine.
• Lees de robots.txt. Expliciet Disallow regels voor GPTBot, ClaudeBot, Google-Extended of PerplexityBot zijn een direct signaal dat de site heeft gekozen om AI buiten te houden.
• Controleer of het een nieuw domein op een gratis plan is. Dat zijn de eigenschappen die Cloudflare's standaardinstellingen target. Een vers geregistreerde donor is het hoogste-risico-geval.
• Bevestig dat de pagina daadwerkelijk rendert voor een bot. Een link binnen content die alleen een ingelogde mens ziet, geeft niets door aan een crawler, AI of anderszins.

Wat te controleren voordat u een link koopt voor AI-zichtbaarheid

Als je doel ook is om door AI-engines te worden geciteerd, is het botbeleid van de donor nu een eersteklas aankoopcriterium, direct naast relevantie en echt verkeer:

• AI-crawler toegang. De donor moet GPTBot, ClaudeBot en PerplexityBot zijn content laten ophalen. Dit is het nieuwe, doorslaggevende signaal, en het signaal dat de markt nog niet controleert.
• Googlebot access. Nog steeds toegestaan onder de standaard, maar bevestig het toch - een verkeerd geconfigureerde site kan alles blokkeren.
• Echt verkeer en relevantie. Onveranderd. Een toegankelijke pagina zonder lezers en zonder topische match blijft een zwakke link.
• Gevestigd, niet vers opgetuigd. De nieuwe-domein, gratis-plan donateurs die AI-crawlers het vaakst blokkeren zijn ook om alle andere redenen de laagste-kwaliteit plaatsingen.

De rode draad is dat AI-toegankelijkheid en linkkwaliteit dezelfde kant op wijzen. De donoren die AI-crawlers standaard blokkeren zijn onevenredig vaak de goedkope, nieuwe, gratis-plan sites die je sowieso al zou moeten vermijden.

Waar dit linkkopers laat

Cloudflare maakte zojuist het botbeleid van een donor onderdeel van de waarde van een link. Een plaatsing op een echte, gevestigde site die AI-crawlers toelaat, kan zowel Google-rankings als AI-citaties voeden. Een plaatsing op een nieuwe, met advertenties volgestouwde, gratis-plan-site voedt mogelijk geen van beide. Dat is precies het filter achter hoe Rixot bronplaatsingen: donors met echt verkeer en een gevestigde reputatie, die zowel zoek- als AI-crawlers daadwerkelijk kunnen bereiken, in plaats van wegwerpdomeinen die er in een meetinstrument goed uitzien maar afgesloten zijn van de engines die ertoe doen. Naarmate AI-zoeken steeds meer klikken opslokt, stopt 'kan de AI deze link überhaupt zien' met een technische bijzaak zijn en wordt het dé vraag.

FAQ

Blokkeert Cloudflare Googlebot?

Nee. De standaardinstelling van Cloudflare op 15 september 2026 blokkeert gemengd-gebruik en training/agent AI-crawlers op pagina's met advertentieondersteuning, maar single-purpose zoekcrawlers zoals Googlebot blijven toegestaan. Klassieke Google-SEO wordt niet beïnvloed door de standaardinstelling.

Welke AI-crawlers blokkeert de Cloudflare-standaard?

Crawlers in de trainings- en agentcategorieën, en "gemengd gebruikte" crawlers die hun functies niet scheiden - in de praktijk GPTBot, ClaudeBot, PerplexityBot en vergelijkbaar. De blokkering is standaard van toepassing op advertentie-ondersteunde pagina's voor nieuwe domeinen en gratis abonnementen.

Wat betekent dit voor mijn backlinks?

Als de donorpagina die je link host AI-crawlers blokkeert, kan die link niet bijdragen aan citaten in ChatGPT, Claude of Perplexity, ook al geeft hij nog waarde door voor Google-zoekopdrachten. Voor AI-zichtbaarheidsdoelen is een door AI geblokkeerde donor effectief dood.

Hoe controleer ik of een donor AI-crawlers blokkeert?

Haal de pagina op met een GPTBot- of ClaudeBot-user-agent en kijk of u de inhoud krijgt of een 403/uitdaging, en lees de robots.txt van de site op Disallow-regels tegen GPTBot, ClaudeBot, Google-Extended of PerplexityBot. Nieuwe domeinen op Cloudflare gratis abonnementen zijn het hoogste risico.

Wat is Cloudflare Pay Per Crawl?

Het laat uitgevers elke AI-crawler instellen op Toestaan (gratis), Rekenen (betaling vereisen) of Blokkeren, met Cloudflare als merchant of record. Het gerelateerde Pay Per Use-model, aangekondigd op 1 juli 2026, betaalt uitgevers wanneer hun content opduikt in een AI-gegenereerd antwoord.

Bronnen

• Cloudflare - "Introductie van pay per crawl," blog.cloudflare.com
• TechCrunch - "Cloudflare's new policy pushes AI companies to pay for publishers' content" (1 juli 2026), techcrunch.com
• The Next Web - "Cloudflare blokkeert AI-crawlers, betaalt uitgevers," thenextweb.com