Cloudflare تحظر زواحف الذكاء الاصطناعي: ماذا يعني ذلك لروابط الخلفية

بوابة من الفولاذ المصقول على أرضية استوديو بيضاء تأطّر سلسلة روابط من الزجاج الأخضر الزمردي، تتحكم في أي برامج الزحف تصل إليها

في 15 سبتمبر 2026، قلبت Cloudflare إعدادًا افتراضيًا يمس خمس الويب، وغيرت بهدوء ما يمكن أن يفعله backlink لك. تحظر الصفحات المحمية بـ Cloudflare الآن زواحف الذكاء الاصطناعي «متعددة الاستخدامات» افتراضيًا على المواقع المدعومة بالإعلانات، بينما تستمر زواحف البحث الكلاسيكية مثل Googlebot في الدخول. بالنسبة لأي شخص يشتري روابط، يخلق ذلك انقسامًا لم يكن موجودًا من قبل: لا يزال الرابط يمرر القيمة الكاملة لبحث جوجل ويمرر no قيمة تجاه استشهادات بحث الذكاء الاصطناعي، فقط بسبب إعدادات بوت المتبرع. إليك ما تغيّر، ولماذا يهم لملف الروابط الخاص بك، والفحص الوحيد الذي يجب إجراؤه على المتبرع قبل الدفع.

ملخص

  • ماذا: منذ 15 سبتمبر 2026، تحظر إعدادات Cloudflare الافتراضية برامج الزحف التي تخلط بين وظائف البحث والتدريب والوكيل على الصفحات التي تحمل إعلانات. برامج زحف البحث ذات الغرض الواحد مثل يبقى Googlebot مسموحاً به؛ يتم حجب زواحف "الاستخدام المختلط" وزواحف التدريب/الوكلاء.
  • من يصيب: الإعداد الافتراضي الجديد ينطبق على نطاقات جديدة وخطط مجانية. لا تتغير مواقع Cloudflare القائمة تلقائيًا، لكن أي مالك يستطيع تفعيله.
  • الدفع لكل زحف / الدفع لكل استخدام: تتيح Cloudflare للناشرين ضبط كل زاحف على السماح أو الشحن أو الحظر، وتدفع لهم نموذجي الدفع لكل استخدام (المُعلن في 1 يوليو 2026) عندما يظهر محتواهم في إجابة ذكاء اصطناعي.
  • لماذا هذا مهم للروابط: إذا لم يتمكن GPTBot أو ClaudeBot أو PerplexityBot من جلب صفحة الجهة المضيفة لرابطك، فهذا الرابط لا يمكنه تغذية استشهادات البحث بالذكاء الاصطناعي، حتى لو كان مثالياً لتحسين محركات البحث التقليدي في جوجل.
  • الفحص الجديد: قبل شراء رابط للرؤية في الذكاء الاصطناعي، تحقق أن الجهة المانحة قابلة للوصول من قِبل زواحف الذكاء الاصطناعي، وليس فقط أن DR جيد.

ما الذي غيّرته Cloudflare فعلاً

موقف Cloudflare هو أن على المنشئين، لا شركات الذكاء الاصطناعي، أن يقرروا من يحصل على محتواهم. كما جاء في إعلان الدفع لكل زحف: "إذا أراد منشئ حظر جميع زواحف الذكاء الاصطناعي من محتواه، يجب أن يكون قادراً على ذلك. إذا أراد منشئ السماح لبعض أو كل زواحف الذكاء الاصطناعي بالوصول الكامل إلى محتواه مجاناً، يجب أن يكون قادراً على ذلك أيضاً". حوّل تغيير 15 سبتمبر هذا المبدأ إلى إعداد افتراضي.

الآليات مهمة. في الصفحات المدعومة بالإعلانات، تحجب Cloudflare الآن برامج الزحف في تدريب و وكيل الفئات افتراضياً، وتحظر الزواحف "متعددة الاستخدامات" التي لا تفصل بوضوح ما تفعله. الفئات search تبقى الزواحف مسموحًا بها، ولهذا السبب لا يتأثر Googlebot. يمكن للناشرين أيضًا الاشتراك في Pay Per Crawl، وضبط كل زاحف على إحدى الحالات الثلاث - "سماح" (مجانًا) أو "شحن" (يتطلب الدفع) أو "حظر" - مع تصرف Cloudflare كتاجر مسجل. نموذج Pay Per Use الأحدث، الذي أُعلن عنه في 1 يوليو 2026، يدفع للناشرين عند حدث الإخراج، عندما يظهر محتواهم في إجابة مُولَّدة بالذكاء الاصطناعي، بدلاً من كل عملية زحف.

تفصيل النطاق الحاسم: يُطبَّق هذا الافتراضي على نطاقات جديدة وخطط مجانية. لا يتحول موقع قائم على Cloudflare تلقائيًا في 15 سبتمبر. لكن هذا الانحراف مهم لمشتري الروابط، لأن نسبة كبيرة من المواقع المانحة الرخيصة والمُنشأة حديثًا هي بالضبط خصائص النطاقات الجديدة على الخطة المجانية التي يصيبها هذا بأكبر ضرر.

لماذا هذا مهم لباك لينك

الرابط الخلفي لا يعمل إلا إذا كان بإمكان الشيء الذي تريد التأثير فيه قراءة الصفحة التي يجلس عليها. في SEO الكلاسيكي، هذا القارئ هو Googlebot - ولا يزال Googlebot يتجاوز الإعداد الافتراضي الجديد لـ Cloudflare. أما في بحث الذكاء الاصطناعي، فإن القراء هم مجموعة مختلفة تمامًا من الروبوتات، وتلك هي التي يتم الآن صدّها. النتيجة هي انقسام ثنائي القنوات في رابط واحد:

زاحفالغرضCloudflare الافتراضي (صفحات الإعلانات)التأثير على رابطك
جوجل بوتبحث كلاسيكيمسموحقيمة كاملة لترتيب Google
GPTBot (OpenAI)التدريب / الوكيلمحظورلا مسار إلى إجابات ChatGPT
ClaudeBot (Anthropic)التدريب / الوكيلمحظورلا مسار إلى إجابات Claude
PerplexityBotوكيل / محرك إجاباتمحظورلا مسار إلى اقتباسات Perplexity

اقرأ ذلك تحذيرًا لهدف الظهور في الذكاء الاصطناعي الذي يسعى إليه كثير من مشتري الروابط الآن. غطّينا في مقال حول مصدر الروابط المُستشهد بها في الذكاء الاصطناعي أن حصة متزايدة من ميزانيات الروابط تهدف إلى الظهور في إشارات ChatGPT وPerplexity، وليس فقط الترتيب في الصفحة الأولى. إذا كانت صفحة الجهة المانحة خلف إعداد Cloudflare الجديد، فإن هذا المال لا يشتري شيئًا نحو اقتباسات الذكاء الاصطناعي - زواحف الذكاء الاصطناعي لا ترى الرابط أبدًا. بالنسبة لـ Google SEO البحت، الرابط جيد. للبحث بالذكاء الاصطناعي، قد يكون غير مرئي.

المتبرع الذي اشتريته قد يكون بالفعل غير مرئي للذكاء الاصطناعي

هذا ليس افتراضياً. رابط رخيص موضوع على موقع جديد على خطة Cloudflare المجانية، بشكل افتراضي، يحجب على الأرجح كل زاحف ذكاء اصطناعي الآن. لن تعرف أبداً من درجة DR أو مخطط حركة المرور. التحقق بسيط، وهو التحقق الذي لا يجريه أحد تقريباً:

  • اجلب الصفحة كزاحف ذكاء اصطناعي. اطلب عنوان URL للمانح بوكيل مستخدم GPTBot أو ClaudeBot لترى ما إذا كنت تحصل على المحتوى أو حظرًا. 403 أو صفحة تحدٍ تعني أن الرابط غير مرئي لذلك المحرك.
  • اقرأ ملف robots.txt. صريح Disallow قواعد GPTBot، ClaudeBot، Google-Extended أو PerplexityBot إشارة مباشرة أن الموقع اختار إبقاء الذكاء الاصطناعي خارجه.
  • تحقق مما إذا كان نطاقاً جديداً على خطة مجانية. تلك هي الخصائص التي تستهدفها إعدادات Cloudflare الافتراضية. المانح المسجل حديثاً هو الحالة الأعلى خطورة.
  • تأكد من أن الصفحة تُعرض فعلياً لروبوت. رابط داخل محتوى لا يراه إلا شخص مسجل الدخول لا يمرر شيئًا إلى أي زاحف، سواء كان ذكاءً اصطناعيًا أو غير ذلك.

ما يجب فحصه قبل شراء رابط لظهور الذكاء الاصطناعي

إذا كان هدفك يشمل أن تُستشهد بك من قبل محركات الذكاء الاصطناعي، فإن سياسة البوت للجهة المانحة أصبحت الآن معيارًا شرائيًا من الدرجة الأولى، إلى جانب الصلة وحركة المرور الحقيقية:

  • وصول زاحف الذكاء الاصطناعي. يجب أن يسمح المتبرع لـ GPTBot و ClaudeBot و PerplexityBot بجلب محتواه. هذه هي الإشارة الحاسمة الجديدة، والتي لا يراقبها السوق بعد.
  • وصول Googlebot. لا يزال مسموحاً به افتراضياً، لكن تأكد منه على أي حال - فقد يؤدي موقع مُهيأ بشكل خاطئ إلى حجب كل شيء.
  • حركة مرور حقيقية وملاءمة. دون تغيير. صفحة سهلة الوصول دون قراء وبدون ملاءمة موضوعية لا تزال رابطاً ضعيفاً.
  • مُثبت، وليس مُنشأ حديثًا. المتبرعون بالنطاقات الجديدة والخطط المجانية الأكثر احتمالاً لحظر زواحف الذكاء الاصطناعي هم أيضًا الأقل جودة في كل جانب آخر.

الفكرة المحورية هي أن إمكانية الوصول إلى الذكاء الاصطناعي وجودة الروابط تشيران إلى الاتجاه ذاته. الجهات المانحة التي تحجب زواحف الذكاء الاصطناعي افتراضياً هي بشكل غير متناسب المواقع الرخيصة والجديدة وذات الخطط المجانية التي يجب أن تتجنبها بالفعل.

أين يترك هذا مشتري الروابط

جعلت Cloudflare سياسة بوتات المتبرع جزءاً من قيمة الرابط. يمكن لموقع حقيقي وراسخ يسمح لزواحف الذكاء الاصطناعي بالدخول أن يغذي كلاً من ترتيب Google واقتباسات الذكاء الاصطناعي. أما موقع جديد ومليء بالإعلانات وعلى خطة مجانية فقد لا يغذي أياً منهما. هذا تماماً هو المرشح الكامن وراء كيف Rixot يحصل على وضعيات؛ جهات مانحة ذات زيارات حقيقية وجمهور فعلي يستطيع كل من زواحف البحث والذكاء الاصطناعي الوصول إليها، لا نطاقات قابلة للاستهلاك تبدو مقبولة في أداة المقاييس ومحجوبة عن المحركات المهمة. مع استمرار البحث بالذكاء الاصطناعي في استيعاب النقرات، يتوقف كون "هل يستطيع الذكاء الاصطناعي حتى رؤية هذا الرابط" عن كونه تفصيلًا فنيًا ويصبح هو السؤال.

الأسئلة الشائعة

هل تحظر Cloudflare Googlebot؟

لا. الحظر الافتراضي لـ Cloudflare في 15 سبتمبر 2026 يحظر زواحف الذكاء الاصطناعي ذات الاستخدام المختلط والتدريب/الوكيل على الصفحات المدعومة بالإعلانات، لكن الزواحف المخصصة للبحث مثل Googlebot تبقى مسموحًا بها. تحسين محركات البحث الكلاسيكي في Google لا يتأثر بهذا الإعداد الافتراضي.

أي زواحف ذكاء اصطناعي يحجبها إعداد Cloudflare الافتراضي؟

الزواحف في فئتي التدريب والوكيل، والزواحف "متعددة الاستخدامات" التي لا تفصل وظائفها - عمليًا GPTBot و ClaudeBot و PerplexityBot وما شابه. ينطبق الحظر افتراضيًا على الصفحات المدعومة بالإعلانات للنطاقات الجديدة والخطط المجانية.

كيف يؤثر ذلك على روابطي الخلفية؟

إذا كانت الصفحة المضيفة لرابطك تحظر زواحف الذكاء الاصطناعي، فإن هذا الرابط لا يمكنه المساهمة في الاستشهادات داخل ChatGPT أو Claude أو Perplexity، رغم أنه لا يزال ينقل القيمة لمحرك بحث جوجل. لتحقيق أهداف الظهور في الذكاء الاصطناعي، تُعتبر الصفحة التي تحظر الذكاء الاصطناعي صفحة ميتة فعلياً.

كيف أتحقق إن كان الموقع المانح يحظر زواحف الذكاء الاصطناعي؟

اجلب الصفحة باستخدام وكيل مستخدم GPTBot أو ClaudeBot وتحقق إن كنت تحصل على المحتوى أو 403/تحدٍ، واقرأ ملف robots.txt الخاص بالموقع بحثًا عن قواعد Disallow ضد GPTBot أو ClaudeBot أو Google-Extended أو PerplexityBot. النطاقات الجديدة على خطط Cloudflare المجانية هي الأعلى خطورة.

ما هي Cloudflare Pay Per Crawl؟

يتيح للناشرين ضبط كل زاحف ذكاء اصطناعي على السماح (مجانًا)، أو الفرض (طلب الدفع)، أو الحظر، مع تولي Cloudflare دور التاجر الرسمي. أما نموذج الدفع لكل استخدام المُعلن عنه في 1 يوليو 2026، فيدفع للناشرين عندما يظهر محتواهم في إجابة مُولّدة بالذكاء الاصطناعي.

المصادر

  • Cloudflare - "تقديم الدفع لكل زحف"، blog.cloudflare.com
  • TechCrunch - "سياسة Cloudflare الجديدة تدفع شركات الذكاء الاصطناعي للدفع مقابل محتوى الناشرين" (1 يوليو 2026)، techcrunch.com
  • The Next Web - "Cloudflare بحظر رسائل لمنع زواحف الذكاء الاصطناعي ويدفع للناشرين،" thenextweb.com