Cloudflare AI ক্রলার ব্লক করছে: ব্যাকলিংকের জন্য এর অর্থ কী

২০২৬ সালের ১৫ সেপ্টেম্বর, Cloudflare একটি ডিফল্ট ফ্লিপ করেছে যা ওয়েবের এক-পঞ্চমাংশকে স্পর্শ করে, এবং এটি চুপচাপ একটি ব্যাকলিঙ্ক আপনার জন্য কী করতে পারে তা পরিবর্তন করেছে। Cloudflare দ্বারা সুরক্ষিত পেজগুলো এখন বিজ্ঞাপন-সমর্থিত সাইটগুলোতে ডিফল্টরূপে "মিশ্র-ব্যবহার" AI ক্রলারগুলোকে ব্লক করে, যখন Googlebot-এর মতো ক্লাসিক অনুসন্ধান ক্রলারগুলো হেঁটে যেতে থাকে। যে কেউ লিঙ্ক কেনে তাদের জন্য, এটি একটি বিভাজন তৈরি করে যা আগে ছিল না: একটি লিঙ্ক এখনও Google অনুসন্ধানের জন্য সম্পূর্ণ মূল্য পাস করতে পারে এবং পাস no কেবল দাতার বট সেটিংসের কারণে AI-অনুসন্ধান উদ্ধৃতির প্রতি মূল্য। এখানে কী পরিবর্তন হয়েছে, কেন এটি আপনার লিংক প্রোফাইলের জন্য গুরুত্বপূর্ণ এবং অর্থ প্রদানের আগে দাতার উপর চালানোর জন্য একটি পরীক্ষা।

Cloudflare আসলে কী পরিবর্তন করেছে

Cloudflare-এর অবস্থান হলো সৃষ্টিকর্তা, AI কোম্পানি নয়, তাদের কন্টেন্ট কে পাবে সেই সিদ্ধান্ত নেবে। তাদের pay-per-crawl ঘোষণায় যেমন বলা হয়েছে: "যদি একজন সৃষ্টিকর্তা তার কন্টেন্ট থেকে সব AI ক্রলার ব্লক করতে চান, তাহলে তিনি সেটি করতে সক্ষম হবেন। যদি একজন সৃষ্টিকর্তা কিছু বা সব AI ক্রলারকে বিনামূল্যে পূর্ণ অ্যাক্সেস দিতে চান, তাহলে তিনি সেটিও করতে সক্ষম হবেন।" ১৫ সেপ্টেম্বরের পরিবর্তনটি সেই নীতিকে একটি ডিফল্টে পরিণত করেছে।

মেকানিক্স গুরুত্বপূর্ণ। বিজ্ঞাপন-সমর্থিত পেজগুলোতে, Cloudflare এখন ক্রলারদের ব্লক করে প্রশিক্ষণ and agent ডিফল্টরূপে ক্যাটাগরি, এবং যেসব "মিশ্র-ব্যবহার" ক্রলার তারা কী করছে তা পরিষ্কারভাবে আলাদা করে না সেগুলোকে ব্লক করে। খাঁটি search ক্রলারগুলি অনুমোদিত থাকে, তাই Googlebot প্রভাবিত হয় না। প্রকাশকরা Pay Per Crawl-এও যোগ দিতে পারেন, প্রতিটি ক্রলারকে তিনটি অবস্থার একটিতে সেট করে - "Allow" (বিনামূল্যে), "Charge" (পেমেন্ট প্রয়োজন) বা "Block" - Cloudflare মার্চেন্ট অফ রেকর্ড হিসেবে কাজ করে। ১ জুলাই, ২০২৬-এ ঘোষিত নতুন Pay Per Use মডেলটি প্রকাশকদের আউটপুট ইভেন্টে, যখন তাদের কন্টেন্ট একটি AI-জেনারেটেড উত্তরে প্রদর্শিত হয়, অর্থ প্রদান করে, প্রতিটি ক্রলের পরিবর্তে।

গুরুত্বপূর্ণ স্কোপের বিস্তারিত: এই ডিফল্টটি প্রযোজ্য হয় নতুন ডোমেইন ও ফ্রি প্ল্যান. Cloudflare-এ ইতিমধ্যে থাকা একটি প্রতিষ্ঠিত সাইট ১৫ সেপ্টেম্বরে ফ্লিপ করে না। কিন্তু লিঙ্ক ক্রেতাদের জন্য সেই তীক্ষ্ণতা গুরুত্বপূর্ণ, কারণ সস্তা, নতুন স্পিন-আপ করা দাতা সাইটগুলোর একটি বড় অংশ হলো ঠিক সেই নতুন-ডোমেন, ফ্রি-প্ল্যান সম্পত্তি যা এটি সবচেয়ে শক্তভাবে আঘাত করে।

আপনার ব্যাকলিংকের জন্য কেন এটি গুরুত্বপূর্ণ

একটি ব্যাকলিংক শুধু তখনই কাজ করে যখন এটি যে পৃষ্ঠায় বসে সেটি আপনি যাকে প্রভাবিত করতে চান সেটি দ্বারা পড়া যায়। ক্লাসিক SEO এর জন্য, সেই পাঠক হলো Googlebot - এবং Googlebot এখনও Cloudflare এর নতুন ডিফল্টের মধ্য দিয়ে যায়। AI সার্চের জন্য, পাঠকরা সম্পূর্ণ ভিন্ন বট সেট, এবং সেগুলিই এখন ফিরিয়ে দেওয়া হচ্ছে। ফলাফল হলো একটি একক লিংকে দুই-চ্যানেল বিভাজন:

ক্রলার	উদ্দেশ্য	Cloudflare ডিফল্ট (বিজ্ঞাপন পেজ)	আপনার লিঙ্কের উপর প্রভাব
Googlebot	ক্লাসিক অনুসন্ধান	অনুমোদিত	Google rankings-এর জন্য পূর্ণ মান
GPTBot (OpenAI)	প্রশিক্ষণ / এজেন্ট	ব্লক করা হয়েছে	ChatGPT উত্তরে যাওয়ার পথ নেই
ClaudeBot (Anthropic)	প্রশিক্ষণ / এজেন্ট	ব্লক করা হয়েছে	Claude উত্তরে যাওয়ার পথ নেই
PerplexityBot	Agent / answer engine	ব্লক করা হয়েছে	Perplexity উদ্ধৃতিতে যাওয়ার পথ নেই

সেটাকে সতর্কতা হিসেবে পড়ুন এমন AI-দৃশ্যমানতার লক্ষ্যের জন্য যেটা এখন অনেক লিঙ্ক ক্রেতার রয়েছে। আমরা কভার করেছি আমাদের AI-উদ্ধৃত লিঙ্ক কোথা থেকে আসে সে বিষয়ক টুকরো যে লিংক বাজেটের একটি ক্রমবর্ধমান অংশ ChatGPT ও Perplexity-তে উল্লিখিত হওয়ার জন্য নিবদ্ধ, শুধু পৃষ্ঠা একে র‍্যাঙ্ক করার জন্য নয়। যদি ডোনার পৃষ্ঠা Cloudflare-এর নতুন ডিফল্টের পেছনে থাকে, সেই অর্থ AI উদ্ধৃতির দিকে কিছুই কেনে না - AI ক্রলাররা লিংকটি কখনো দেখে না। খাঁটি Google SEO-এর জন্য, লিংকটি ঠিক আছে। AI সার্চের জন্য, এটি অদৃশ্য হতে পারে।

আপনি যে দাতা কিনেছেন সেটি ইতিমধনে AI-এর কাছে অদৃশ্য হতে পারে

এটি কাল্পনিক নয়। একটি Cloudflare ফ্রি প্ল্যানে থাকা সদ্য-তৈরি সাইটে সস্তায় প্লেস করা একটি লিংক এই ডিফল্ট অনুযায়ী এখন প্রতিটি AI ক্রলারকে সম্ভবত ব্লক করছে। আপনি একটি DR স্কোর বা ট্রাফিক চার্ট থেকে কখনো এটা জানতে পারবেন না। চেক করা সহজ, এবং এটি প্রায় কেউ যেটা করে না এমন একটি চেক:

• AI ক্রলার হিসাবে পৃষ্ঠাটি আনুন। GPTBot বা ClaudeBot ইউজার-এজেন্ট দিয়ে ডোনার URL রিকোয়েস্ট করে দেখুন আপনি কন্টেন্ট পাচ্ছেন নাকি ব্লক পাচ্ছেন। ৪০৩ বা চ্যালেঞ্জ পেজ মানে সেই ইঞ্জিনের কাছে লিংকটি অদৃশ্য।
• robots.txt পড়ুন। স্পষ্ট Disallow GPTBot, ClaudeBot, Google-Extended বা PerplexityBot-এর জন্য নিয়ম সরাসরি সংকেত যে সাইটটি AI-কে বাইরে রাখতে চেয়েছে।
• এটি কি ফ্রি প্ল্যানে একটি নতুন ডোমেইন কিনা তা পরীক্ষা করুন। এগুলো হলো সেই বৈশিষ্ট্যগুলো যা Cloudflare-এর ডিফল্ট লক্ষ্যে থাকে। সদ্য নিবন্ধিত একজন দাতা সবচেয়ে উচ্চ-ঝুঁকির কেস।
• পেজটি আসলেই বটের জন্য রেন্ডার হয় কিনা তা নিশ্চিত করুন। যে কন্টেন্টের ভেতরের লিঙ্ক শুধুমাত্র একজন লগ-ইন করা মানুষ দেখতে পায়, সেটি কোনো ক্রলার, AI বা অন্যকিছুতে কিছুই প্রেরণ করে না।

AI ভিজিবিলিটির জন্য লিংক কেনার আগে কী পরীক্ষা করবেন

যদি আপনার লক্ষ্যের মধ্যে AI ইঞ্জিন দ্বারা উদ্ধৃত হওয়া অন্তর্ভুক্ত থাকে, তাহলে দাতার বট নীতি এখন একটি প্রথম-শ্রেণীর ক্রয় মানদণ্ড, প্রাসঙ্গিকতা এবং আসল ট্রাফিকের পাশাপাশি:

• AI-crawler access. দাতার উচিত GPTBot, ClaudeBot এবং PerplexityBot-কে তার বিষয়বস্তু ফেচ করতে দেওয়া। এটি নতুন, নির্ণায়ক সংকেত, এবং এটিই যেটি বাজার এখনও পরীক্ষা করছে না।
• Googlebot access. ডিফল্ট সেটিংসে এখনও অনুমোদিত, তবুও তা নিশ্চিত করুন - একটি ভুল কনফিগার করা সাইট সবকিছু ব্লক করতে পারে।
• প্রকৃত ট্রাফিক এবং প্রাসঙ্গিকতা। অপরিবর্তিত। কোনো পাঠক এবং কোনো টপিক্যাল ফিট ছাড়া একটি অ্যাক্সেসযোগ্য পৃষ্ঠা এখনও একটি দুর্বল লিংক।
• প্রতিষ্ঠিত, সদ্য তৈরি নয়। যেসব নতুন-ডোমেন, ফ্রি-প্ল্যানের দাতারা AI ক্রলার ব্লক করে, তারাই অন্য সব দিক দিয়ে সবচেয়ে কম মানের প্লেসমেন্ট।

মূল বিষয়টি হলো AI অ্যাক্সেসিবিলিটি এবং লিংকের মান একই দিকে নির্দেশ করে। যেসব ডোনার ডিফল্টভাবে AI ক্রলার ব্লক করে, সেগুলো অসামঞ্জস্যপূর্ণভাবে সস্তা, নতুন, ফ্রি-প্ল্যান সাইট যা আপনার আগে থেকেই এড়িয়ে চলা উচিত।

এটি লিংক ক্রেতাদের কোথায় রাখে

Cloudflare সদ্য একটি দাতার বট নীতিকে লিংকের মূল্যের অংশ করে তুলেছে। একটি প্রকৃত, প্রতিষ্ঠিত সাইটে প্লেসমেন্ট যা AI ক্রলারদের প্রবেশ করতে দেয় তা Google র‍্যাঙ্কিং এবং AI উদ্ধৃতি উভয়কেই সরবরাহ করতে পারে। একটি নতুন, বিজ্ঞাপনে ঠাসা, ফ্রি-প্ল্যান সাইটে প্লেসমেন্ট সম্ভবত কোনোটিই সরবরাহ করতে পারে না। এটিই ঠিক সেই ফিল্টার যার পেছনে কাজ করে যেভাবে Rixot প্লেসমেন্টের উৎস নির্ধারণ করে: রিয়েল-ট্র্যাফিক, প্রতিষ্ঠিত দাতারা যাদের কাছে সার্চ এবং AI ক্রলার উভয়ই আসলে পৌঁছাতে পারে, বরং ডিসপোজেবল ডোমেনের পরিবর্তে যা মেট্রিক্স টুলে ভাল দেখায় এবং গুরুত্বপূর্ণ ইঞ্জিন থেকে দেয়ালে আটকানো থাকে। AI সার্চ যখন ক্লিকগুলো গ্রাস করতে থাকে, "AI কি এই লিঙ্কটি এমনকি দেখতে পারে" একটি টেকনিক্যালিটি হওয়া বন্ধ হয়ে প্রশ্নটি হয়ে ওঠে।

FAQ

Cloudflare কি Googlebot ব্লক করে?

না। Cloudflare-র ১৫ সেপ্টেম্বর, ২০২৬ ডিফল্ট বিজ্ঞাপন-সমর্থিত পেজে মিক্সড-ইউজ ও ট্রেনিং/এজেন্ট AI ক্রলার ব্লক করে, কিন্তু একক-উদ্দেশ্য সার্চ ক্রলার যেমন Googlebot অনুমোদিত থাকে। ক্লাসিক Google SEO এই ডিফল্ট দ্বারা প্রভাবিত হয় না।

Cloudflare ডিফল্ট ব্লক কোন AI ক্রলারদের?

প্রশিক্ষণ এবং এজেন্ট বিভাগে ক্রলার এবং "মিশ্র-ব্যবহার" ক্রলার যারা তাদের কার্যকারিতা আলাদা করে না - বাস্তবে GPTBot, ClaudeBot, PerplexityBot এবং অনুরূপ। নতুন ডোমেইন এবং ফ্রি প্ল্যানের জন্য বিজ্ঞাপন-সমর্থিত পৃষ্ঠাগুলিতে ব্লকটি ডিফল্টরূপে প্রযোজ্য।

এটি কীভাবে আমার ব্যাকলিঙ্কগুলিকে প্রভাবিত করে?

যদি আপনার লিঙ্ক যে দাতা পৃষ্ঠায় রয়েছে সেটি AI ক্রলারদের ব্লক করে, তাহলে সেই লিঙ্কটি ChatGPT, Claude বা Perplexity-এ উদ্ধৃতিতে অবদান রাখতে পারে না, যদিও এটি এখনও Google সার্চের জন্য মান পাস করে। AI-দৃশ্যমানতার লক্ষ্যের জন্য, একটি AI-ব্লক করা দাতা কার্যত মৃত।

আমি কীভাবে পরীক্ষা করব যে একজন দাতা AI ক্রলারদের ব্লক করে?

একটি GPTBot বা ClaudeBot ইউজার-এজেন্ট ব্যবহার করে URL আনুন এবং দেখুন আপনি কন্টেন্ট পান কিনা বা 403/চ্যালেঞ্জ পান কিনা, এবং GPTBot, ClaudeBot, Google-Extended বা PerplexityBot-এর বিরুদ্ধে Disallow নিয়মের জন্য সাইটের robots.txt পড়ুন। Cloudflare ফ্রি প্ল্যানে নতুন ডোমেইনগুলি সবচেয়ে বেশি ঝুঁকিপূর্ণ।

Cloudflare Pay Per Crawl কী?

এটি প্রকাশকদের প্রতিটি AI ক্রলারকে Allow (ফ্রি), Charge (পেমেন্ট প্রয়োজন) বা Block সেট করতে দেয়, Cloudflare রেকর্ডের বণিক হিসেবে। সম্পর্কিত Pay Per Use মডেল, ১ জুলাই, ২০২৬-এ ঘোষিত, প্রকাশকদের অর্থ প্রদান করে যখন তাদের কন্টেন্ট AI-উৎপন্ন উত্তরে দেখা যায়।

উৎস

• Cloudflare - "Pay per crawl চালু করা হচ্ছে," blog.cloudflare.com
• TechCrunch - "Cloudflare-এর নতুন নীতি AI কোম্পানিগুলোকে প্রকাশকদের কন্টেন্টের জন্য অর্থ প্রদানে চাপ দিচ্ছে" (জুলাই ১, ২০২৬), techcrunch.com
• The Next Web - "Cloudflare to block AI crawlers, pay publishers," thenextweb.com