Cloudflare AI क्रॉलर्स को ब्लॉक करता है: बैकलिंक्स के लिए इसका क्या मतलब है

Mattew Born•2 अक्टूबर 2026•7 मिनट रीड

सफ़ेद स्टूडियो फर्श पर ब्रश्ड-स्टील का गेट जो एमराल्ड ग्लास चेन लिंक को फ्रेम कर रहा है, यह नियंत्रित करते हुए कि कौन से क्रॉलर इसे तक पहुँचते हैं

15 सितंबर 2026 को, Cloudflare ने एक डिफ़ॉल्ट फ़्लिप किया जो वेब का पांचवां हिस्सा छूता है, और इसने चुपचाप बदल दिया कि बैकलिंक आपके लिए क्या कर सकता है। Cloudflare द्वारा संरक्षित पेज अब "मिश्रित-उपयोग" AI क्रॉलर्स को डिफ़ॉल्ट रूप से विज्ञापन-समर्थित साइटों पर ब्लॉक करते हैं, जबकि Googlebot जैसे क्लासिक सर्च क्रॉलर चलते रहते हैं। किसी भी लिंक खरीदने वाले के लिए, यह एक विभाजन पैदा करता है जो पहले अस्तित्व में नहीं था: एक लिंक अभी भी Google सर्च के लिए पूरा मूल्य पास कर सकता है और no मान, विशुद्ध रूप से डोनर की बॉट सेटिंग्स के कारण। यहाँ बताया गया है कि क्या बदला, यह आपके लिंक प्रोफ़ाइल के लिए क्यों मायने रखता है, और भुगतान करने से पहले डोनर पर चलाने के लिए एक जाँच।

सारांश

क्या: चूँकि 15 सितंबर, 2026, Cloudflare का डिफ़ॉल्ट विज्ञापन वाले पृष्ठों पर खोज, प्रशिक्षण और एजेंट कार्यों को मिलाने वाले क्रॉलर को ब्लॉक करता है. एकल-उद्देश्य वाले खोज क्रॉलर जैसे Googlebot को अनुमति दें; "mixed-use" और ट्रेनिंग/एजेंट क्रॉलर्स को ब्लॉक किया जाता है।
यह किसे प्रभावित करता है: नया डिफ़ॉल्ट इस पर लागू होता है नए डोमेन और मुफ़्त प्लान. Cloudflare पर पहले से मौजूद साइटें अपने आप नहीं बदलतीं, लेकिन कोई भी मालिक इसे ऑन कर सकता है।
प्रति क्रॉल / प्रति उपयोग भुगतान: Cloudflare पब्लिशर्स को हर क्रॉलर को Allow, Charge या Block पर सेट करने देता है, और इसका Pay Per Use मॉडल (1 जुलाई, 2026 को घोषित) उन्हें तब भुगतान करता है जब उनकी सामग्री AI उत्तर में सामने आती है।
लिंक के लिए यह क्यों मायने रखता है: यदि GPTBot, ClaudeBot या PerplexityBot उस दाता पेज को fetch नहीं कर सकते जिस पर आपका लिंक है, तो वह लिंक AI-सर्च उद्धरणों को फ़ीड नहीं कर सकता, भले ही वह क्लासिक Google SEO के लिए बिल्कुल सही हो।
नई जाँच: AI विज़िबिलिटी के लिए लिंक खरीदने से पहले, सत्यापित करें कि डोनर AI क्रॉलर्स के लिए पहुँच योग्य है, न कि केवल इसका अच्छा DR है।

Cloudflare ने असल में क्या बदला

Cloudflare का पॉज़िशन यह है कि AI कंपनियों नहीं, बल्कि क्रिएटर्स को तय करना चाहिए कि उनकी सामग्री किसे मिलेगी। जैसा कि इसके pay-per-crawl एलान में कहा गया: "अगर कोई क्रिएटर अपनी सामग्री से सभी AI क्रॉलर्स को ब्लॉक करना चाहता है, तो उसे ऐसा करने में सक्षम होना चाहिए। अगर कोई क्रिएटर कुछ या सभी AI क्रॉलर्स को मुफ़्त पूर्ण एक्सेस देना चाहता है, तो उसे ऐसा करने में भी सक्षम होना चाहिए।" 15 सितंबर का बदलाव उस सिद्धांत को डिफ़ॉल्ट में बदल गया।

मैकेनिक्स मायने रखते हैं। विज्ञापन-समर्थित पेजों पर, Cloudflare अब क्रॉलर्स को ब्लॉक करता है प्रशिक्षण और एजेंट डिफ़ॉल्ट रूप से कैटेगरीज़, और "मिश्ड-यूज़" क्रॉलर्स को ब्लॉक करता है जो यह साफ़ रूप से अलग नहीं करते कि वे क्या कर रहे हैं। शुद्ध search क्रॉलर अनुमत रहते हैं, यही कारण है कि Googlebot अप्रभावित है। पब्लिशर Pay Per Crawl में भी ऑप्ट-इन कर सकते हैं, प्रत्येक क्रॉलर को तीन स्थितियों में से एक पर सेट कर सकते हैं - "Allow" (मुफ़्त), "Charge" (भुगतान आवश्यक) या "Block" - जहाँ Cloudflare मर्चेंट ऑफ रिकॉर्ड के रूप में कार्य करता है। 1 जुलाई, 2026 को घोषित नया Pay Per Use मॉडल, पब्लिशर को आउटपुट इवेंट पर भुगतान करता है, जब उनकी सामग्री AI-जनरेटेड उत्तर में सामने आती है, हर क्रॉल पर नहीं।

महत्वपूर्ण स्कोप विवरण: यह डिफ़ॉल्ट इस पर लागू होता है नए डोमेन और मुफ़्त प्लान. Cloudflare पर पहले से मौजूद एक स्थापित साइट 15 सितंबर को फ़्लिप नहीं होती। लेकिन यह स्क्यू लिंक खरीदारों के लिए अहम है, क्योंकि सस्ते, नए खड़े किए डोनर साइट्स का बड़ा हिस्सा ठीक वही नई-डोमेन, फ़्री-प्लान प्रॉपर्टीज़ हैं जिन पर यह सबसे ज़्यादा असर करता है।

आपके बैकलिंक के लिए यह क्यों मायने रखता है

केवल तभी काम करता है जब बैकलिंक जिस पेज पर बैठा है उसे उस चीज़ द्वारा पढ़ा जा सके जिसे आप प्रभावित करना चाहते हैं। क्लासिक SEO के लिए, वह पाठक Googlebot है - और Googlebot अभी भी Cloudflare के नए डिफ़ॉल्ट से गुज़रता है। AI सर्च के लिए, पाठक पूरी तरह से अलग बॉट्स का एक सेट हैं, और वे ही अब वापस कर दिए जा रहे हैं। परिणामस्वरूप एकल लिंक में दो-चैनल विभाजन है:

क्रॉलर	उद्देश्य	Cloudflare डिफ़ॉल्ट (विज्ञापन पेज)	आपके लिंक पर प्रभाव
Googlebot	क्लासिक सर्च	अनुमत	Google रैंकिंग के लिए पूरा मूल्य
GPTBot (OpenAI)	प्रशिक्षण / एजेंट	अवरुद्ध	ChatGPT उत्तरों का कोई रास्ता नहीं
ClaudeBot (Anthropic)	प्रशिक्षण / एजेंट	अवरुद्ध	Claude उत्तरों का कोई रास्ता नहीं
PerplexityBot	एजेंट / उत्तर इंजन	अवरुद्ध	Perplexity उद्धरणों का कोई रास्ता नहीं

इसे उस AI-दृश्यता लक्ष्य के लिए चेतावनी के रूप में पढ़ें, जो अब कई लिंक खरीदार रखते हैं। हमने अपने में कवर किया AI-उद्धृत लिंक्स कहाँ से आते हैं इस पर टुकड़ा कि लिंक बजट का एक बढ़ता हिस्सा ChatGPT और Perplexity द्वारा उल्लेखित होने की ओर निर्देशित है, न कि केवल पहले पेज पर रैंक करने की ओर। यदि दाता पेज Cloudflare के नए डिफ़ॉल्ट के पीछे है, तो वह पैसा AI उद्धरणों के लिए कुछ नहीं खरीदता - AI क्रॉलर्स लिंक कभी नहीं देखते। शुद्ध Google SEO के लिए, लिंक ठीक है। AI खोज के लिए, यह अदृश्य हो सकता है।

आपने जो दाता खरीदा वह AI के लिए पहले से अदृश्य हो सकता है

यह काल्पनिक नहीं है। Cloudflare फ्री प्लान पर एक नई ब्रांड-नई साइट पर रखा गया एक सस्ता लिंक, इस डिफ़ॉल्ट द्वारा, संभवतः अभी हर AI क्रॉलर को ब्लॉक कर रहा है। आपको DR स्कोर या ट्रैफ़िक चार्ट से कभी पता नहीं चलेगा। जाँचना सरल है, और यह वह जाँच है जो लगभग कोई नहीं करता:

पृष्ठ को AI क्रॉलर के रूप में प्राप्त करें। GPTBot या ClaudeBot यूज़र-एजेंट के साथ दाता URL का अनुरोध करें और देखें कि आपको सामग्री मिलती है या ब्लॉक। 403 या चैलेंज पेज का मतलब है कि उस इंजन के लिए लिंक अदृश्य है।
robots.txt पढ़ें। स्पष्ट Disallow GPTBot, ClaudeBot, Google-Extended या PerplexityBot के लिए नियम एक सीधा संकेत हैं कि साइट ने AI को बाहर रखना चुना है।
जाँचें कि यह फ्री प्लान पर एक नया डोमेन तो नहीं। वे गुण हैं जिन्हें Cloudflare का डिफ़ॉल्ट लक्षित करता है। एक ताज़ा पंजीकृत डोनर उच्चतम-जोखिम वाला मामला है।
पुष्टि करें कि पेज वास्तव में बॉट के लिए रेंडर होता है। ऐसी सामग्री के अंदर मौजूद लिंक जिसे केवल लॉग-इन मानव देख सकता है, किसी भी क्रॉलर, AI या अन्यथा को कुछ भी पास नहीं करता।

AI विज़िबिलिटी के लिए लिंक खरीदने से पहले क्या जाँचें

यदि आपके लक्ष्य में AI इंजनों द्वारा उद्धृत होना शामिल है, तो दाता की बॉट नीति अब relevance और वास्तविक ट्रैफ़िक के बगल में पहली श्रेणी का क्रय मानदंड है:

AI-क्रॉलर एक्सेस। दाता को GPTBot, ClaudeBot और PerplexityBot को अपनी सामग्री लाने देनी चाहिए। यह नया, निर्णायक संकेत है, और वह जिसे बाज़ार अभी जाँच नहीं रहा है।
Googlebot एक्सेस। अभी भी डिफ़ॉल्ट के तहत अनुमत, लेकिन फिर भी इसकी पुष्टि करें - गलत कॉन्फ़िगर की गई साइट सब कुछ ब्लॉक कर सकती है।
वास्तविक ट्रैफ़िक और प्रासंगिकता। अपरिवर्तित। कोई पाठक नहीं और कोई विषयगत अनुकूलता नहीं वाला सुलभ पेज अभी भी कमज़ोर लिंक है।
स्थापित, ताज़ा नहीं बनाया गया। नए-डोमेन, मुफ़्त-योजना दानदाता जो AI क्रॉलर्स को ब्लॉक करने की सबसे अधिक संभावना रखते हैं, हर दूसरे कारण से सबसे कम गुणवत्ता वाले प्लेसमेंट भी हैं।

इन सबमें एक सामान्य बात है कि AI की पहुँच और लिंक की गुणवत्ता एक ही दिशा में इशारा करते हैं। जो डोनर डिफ़ॉल्ट रूप से AI क्रॉलर्स को ब्लॉक करते हैं, वे अनुपातिक रूप से वही सस्ती, नई, फ्री-प्लान वाली साइटें हैं जिनसे आपको पहले से ही बचना चाहिए।

यह लिंक खरीदारों को कहाँ छोड़ता है

Cloudflare ने अभी दाता की बॉट पॉलिसी को लिंक के मूल्य का हिस्सा बना दिया। एक वास्तविक, स्थापित साइट पर प्लेसमेंट जो AI क्रॉलर्स को अनुमति देती है, Google रैंकिंग्स और AI साइटेशन्स दोनों को फीड कर सकती है। एक नई, विज्ञापनों से भरी, फ्री-प्लान साइट पर प्लेसमेंट शायद किसी को भी फीड न करे। यह ठीक वही फ़िल्टर है जो इसके पीछे है Rixot प्लेसमेंट स्रोत: रियल-ट्रैफ़िक, स्थापित डोनर्स जिन तक सर्च और AI क्रॉलर्स दोनों असल में पहुँच सकें, डिस्पोज़ेबल डोमेन्स की बजाय जो मेट्रिक्स टूल में ठीक दिखते हैं लेकिन ज़रूरी इंजन्स से कटे हुए हैं। AI सर्च के जैसे-जैसे क्लिक्स खाते जा रहे हैं, "क्या AI यह लिंक देख भी सकता है" टेक्निकैलिटी रहना छोड़कर सवाल बन जाता है।

FAQ

क्या Cloudflare Googlebot को ब्लॉक करता है?

नहीं। Cloudflare का 15 सितंबर, 2026 का डिफ़ॉल्ट विज्ञापन-समर्थित पृष्ठों पर मिश्रित-उपयोग और प्रशिक्षण/एजेंट AI क्रॉलर्स को ब्लॉक करता है, लेकिन Googlebot जैसे एकल-उद्देश्य खोज क्रॉलर्स की अनुमति है। क्लासिक Google SEO डिफ़ॉल्ट से अप्रभावित है।

Cloudflare की डिफ़ॉल्ट ब्लॉक कौन-से AI क्रॉलर्स करता है?

ट्रेनिंग और एजेंट श्रेणियों में क्रॉलर, और "मिक्स्ड-यूज़" क्रॉलर जो अपने कार्यों को अलग नहीं करते - व्यवहार में GPTBot, ClaudeBot, PerplexityBot और इसी तरह के। नए डोमेन और फ्री प्लान के लिए विज्ञापन-समर्थित पेजों पर ब्लॉक डिफ़ॉल्ट रूप से लागू होता है।

यह मेरे बैकलिंक्स को कैसे प्रभावित करता है?

यदि आपके लिंक को होस्ट करने वाला दाता पेज AI क्रॉलर को ब्लॉक करता है, तो वह लिंक ChatGPT, Claude या Perplexity में उद्धरणों में योगदान नहीं दे सकता, भले ही वह Google सर्च के लिए मान पास करता रहे। AI-विज़िबिलिटी लक्ष्यों के लिए, AI-ब्लॉक किया गया दाता प्रभावी रूप से मृत है।

मैं कैसे जाँचूँ कि दाता AI क्रॉलर को ब्लॉक तो नहीं करता?

GPTBot या ClaudeBot यूज़र-एजेंट का उपयोग करके URL प्राप्त करें और देखें कि आपको सामग्री मिलती है या 403/चुनौती, और GPTBot, ClaudeBot, Google-Extended या PerplexityBot के विरुद्ध Disallow नियमों के लिए साइट की robots.txt पढ़ें। Cloudflare मुफ़्त प्लान पर नए डोमेन सबसे अधिक जोखिम में हैं।

Cloudflare Pay Per Crawl क्या है?

यह पब्लिशर्स को हर AI क्रॉलर को Allow (मुफ़्त), Charge (पेमेंट आवश्यक) या Block पर सेट करने देता है, जिसमें Cloudflare मर्चेंट ऑफ रिकॉर्ड है। संबंधित Pay Per Use मॉडल, 1 जुलाई 2026 को घोषित, पब्लिशर्स को तब भुगतान करता है जब उनका कंटेंट AI-जनित उत्तर में सामने आता है।

स्रोत

Cloudflare - "pay per crawl का परिचय," blog.cloudflare.com
TechCrunch - "Cloudflare की नई नीति AI कंपनियों को प्रकाशकों की सामग्री के लिए भुगतान करने के लिए मजबूर करती है" (1 जुलाई, 2026), techcrunch.com
The Next Web - "Cloudflare एआई क्रॉलर्स को ब्लॉक करेगा, प्रकाशकों को भुगतान करेगा," thenextweb.com