Cloudflare Memblokir Crawler AI: Apa Artinya bagi Backlink

Pada 15 September 2026, Cloudflare mengubah pengaturan default yang menyentuh seperlima dari keseluruhan web, dan secara diam-diam mengubah apa yang bisa dilakukan backlink bagi Anda. Halaman yang dilindungi Cloudflare kini memblokir crawler AI "campuran" secara default di situs yang didukung iklan, sementara crawler pencari klasik seperti Googlebot tetap leluasa masuk. Bagi siapa pun yang membeli link, hal ini menciptakan pemisahan yang sebelumnya tidak ada: sebuah link masih bisa memberikan nilai penuh untuk pencarian Google dan tetap no nilai terhadap kutipan AI-search, murni karena pengaturan bot pendonornya. Berikut apa yang berubah, mengapa hal ini penting untuk profil tautan Anda, dan satu pemeriksaan yang perlu dilakukan pada pendonor sebelum Anda membayar.

Apa yang sebenarnya diubah Cloudflare

Posisi Cloudflare adalah bahwa kreator, bukan perusahaan AI, yang harus memutuskan siapa yang mendapatkan konten mereka. Seperti yang dikatakan pengumuman pay-per-crawl mereka: "Jika seorang kreator ingin memblokir semua crawler AI dari konten mereka, mereka harus bisa melakukannya. Jika seorang kreator ingin mengizinkan beberapa atau semua crawler AI akses penuh ke konten mereka secara gratis, mereka juga harus bisa melakukannya." Perubahan 15 September mengubah prinsip tersebut menjadi default.

Mekanismenya penting. Pada halaman yang didukung iklan, Cloudflare sekarang memblokir crawler di pelatihan dan agen kategori secara default, dan memblokir crawler "penggunaan campuran" yang tidak memisahkan secara jelas apa yang mereka lakukan. Murni search perayap tetap diizinkan, itulah sebabnya Googlebot tidak terpengaruh. Penerbit juga dapat memilih untuk menggunakan Pay Per Crawl, mengatur setiap perayap ke salah satu dari tiga status - "Izinkan" (gratis), "Kenaikan Biaya" (wajibkan pembayaran) atau "Blokir" - dengan Cloudflare bertindak sebagai merchant of record. Model Pay Per Use yang lebih baru, diumumkan pada 1 Juli 2026, membayar penerbit pada peristiwa output, ketika konten mereka muncul di jawaban yang dihasilkan AI, bukan pada setiap perayapan.

Detail cakupan penting: default ini diterapkan ke domain baru dan paket gratis. Situs mapan yang sudah menggunakan Cloudflare tidak aktif pada 15 September. Tapi kemiringan itu penting bagi pembeli tautan, karena sebagian besar situs donor murah yang baru dibuat adalah persis properti domain baru, paket gratis yang paling terpukul oleh ini.

Why this matters for your backlinks

Backlink hanya bekerja jika halaman tempat ia berada dapat dibaca oleh pihak yang ingin Anda pengaruhi. Untuk SEO klasik, pembacanya adalah Googlebot - dan Googlebot masih bisa melewati default baru Cloudflare. Untuk pencarian AI, pembacanya adalah kumpulan bot yang berbeda, dan justru bot-bot itulah yang kini mulai dibalik. Hasilnya adalah pemisahan dua saluran dalam satu tautan:

Perayap	Tujuan	Bawaan Cloudflare (halaman iklan)	Efek pada tautan Anda
Googlebot	Pencarian klasik	Diizinkan	Nilai penuh untuk peringkat Google
GPTBot (OpenAI)	Pelatihan / agen	Diblokir	Tidak ada jalur masuk ke jawaban ChatGPT
ClaudeBot (Anthropic)	Pelatihan / agen	Diblokir	Tidak ada jalur masuk ke jawaban Claude
PerplexityBot	Agen / answer engine	Diblokir	Tidak ada jalur masuk ke kutipan Perplexity

Bacalah itu sebagai peringatan untuk tujuan visibilitas AI yang kini dimiliki banyak pembeli tautan. Kami bahas di artikel tentang dari mana tautan yang disitasi AI berasal bahwa bagian yang semakin besar dari anggaran link ditujukan untuk disebut oleh ChatGPT dan Perplexity, bukan sekadar peringkat di halaman satu. Jika halaman donor berada di balik default baru Cloudflare, uang itu tidak membeli apa pun menuju kutipan AI - crawler AI tidak pernah melihat link tersebut. Untuk SEO Google murni, link tersebut baik-baik saja. Untuk pencarian AI, link tersebut mungkin tidak terlihat.

Donor yang Anda beli mungkin sudah tidak terlihat oleh AI

Ini bukan hipotesis. Tautan murah yang ditempatkan di situs baru pada paket gratis Cloudflare, secara default, kemungkinan memblokir setiap crawler AI saat ini. Anda tidak akan pernah tahu dari skor DR atau grafik lalu lintas. Pemeriksaannya sederhana, dan ini adalah pemeriksaan yang hampir tidak ada yang menjalankan:

• Ambil halaman sebagai AI crawler. Minta URL donor dengan user-agent GPTBot atau ClaudeBot dan lihat apakah Anda mendapatkan konten atau pemblokiran. 403 atau halaman tantangan berarti tautan tersebut tidak terlihat oleh mesin tersebut.
• Baca robots.txt. Eksplisit Disallow aturan untuk GPTBot, ClaudeBot, Google-Extended, atau PerplexityBot adalah sinyal langsung bahwa situs tersebut memilih untuk menjaga AI keluar.
• Periksa apakah itu domain baru pada paket gratis. Itulah properti yang menjadi target default Cloudflare. Donor yang baru terdaftar adalah kasus dengan risiko tertinggi.
• Konfirmasikan halaman benar-benar render untuk bot. Tautan di dalam konten yang hanya dilihat manusia yang masuk tidak传递 apa pun ke crawler mana pun, AI atau lainnya.

Apa yang perlu diperiksa sebelum membeli link untuk visibilitas AI

Jika tujuan Anda termasuk dikutip oleh mesin AI, kebijakan bot donor sekarang menjadi kriteria pembelian kelas satu, berdampingan dengan relevansi dan traffic nyata:

• Akses AI-crawler. Donor harus mengizinkan GPTBot, ClaudeBot, dan PerplexityBot mengambil kontennya. Ini adalah sinyal baru yang menentukan, dan yang belum diperiksa pasar.
• Akses Googlebot. Masih diizinkan secara default, tetapi tetap konfirmasikan - situs yang salah konfigurasi dapat memblokir semuanya.
• Lalu lintas dan relevansi nyata. Tetap tidak berubah. Halaman yang dapat diakses tanpa pembaca dan tanpa kecocokan topikal tetap merupakan tautan lemah.
• Mapan, bukan baru dibuat. Domain baru, donatur paket gratis yang paling mungkin memblokir crawler AI juga merupakan penempatan berkualitas paling rendah untuk semua alasan lainnya.

Benang merahnya adalah bahwa aksesibilitas AI dan kualitas tautan menunjuk ke arah yang sama. Donatur yang secara default memblokir crawler AI cenderung merupakan situs-situs murah, baru, paket gratis yang seharusnya sudah Anda hindari.

Di mana ini meninggalkan pembeli link

Cloudflare baru saja menjadikan kebijakan bot donor sebagai bagian dari nilai sebuah link. Penempatan di situs nyata dan mapan yang mengizinkan crawler AI dapat memberi makan peringkat Google dan kutipan AI. Penempatan di situs baru, penuh iklan, paket gratis mungkin tidak memberi makan keduanya. Itulah filter di balik bagaimana Rixot sumber penempatan: donor dengan lalu lintas nyata dan mapan yang dapat dijangkau oleh crawler pencarian dan AI, daripada domain sekali pakai yang terlihat baik di alat metrik dan dipagari dari mesin yang penting. Ketika pencarian AI terus menelan klik, "bisakah AI melihat tautan ini" berhenti menjadi teknis dan menjadi pertanyaannya.

FAQ

Apakah Cloudflare memblokir Googlebot?

Tidak. Default Cloudflare tanggal 15 September 2026 memblokir crawler AI penggunaan campuran dan pelatihan/agen pada halaman yang didukung iklan, tetapi crawler pencarian tujuan tunggal seperti Googlebot tetap diizinkan. SEO Google klasik tidak terpengaruh oleh default tersebut.

AI crawler mana yang diblokir oleh default Cloudflare?

Perayap dalam kategori pelatihan dan agen, serta perayap "penggunaan campuran" yang tidak memisahkan fungsinya - dalam praktiknya GPTBot, ClaudeBot, PerplexityBot, dan sejenisnya. Pemblokiran berlaku secara default pada halaman yang didukung iklan untuk domain baru dan paket gratis.

Bagaimana ini memengaruhi backlink saya?

Jika halaman donor yang menampung link Anda memblokir crawler AI, link tersebut tidak dapat berkontribusi pada sitasi di ChatGPT, Claude, atau Perplexity, meskipun masih memberikan nilai untuk pencarian Google. Untuk tujuan visibilitas AI, donor yang diblokir AI pada dasarnya mati.

Bagaimana cara mengecek apakah donor memblokir crawler AI?

Ambil halaman menggunakan user-agent GPTBot atau ClaudeBot dan lihat apakah Anda mendapatkan konten atau 403/challenge, serta baca robots.txt situs untuk aturan Disallow terhadap GPTBot, ClaudeBot, Google-Extended, atau PerplexityBot. Domain baru pada paket gratis Cloudflare memiliki risiko tertinggi.

Apa itu Cloudflare Pay Per Crawl?

Ini memungkinkan publisher mengatur setiap crawler AI ke Allow (gratis), Charge (memerlukan pembayaran) atau Block, dengan Cloudflare sebagai merchant of record. Model Pay Per Use terkait, yang diumumkan 1 Juli 2026, membayar publisher ketika konten mereka muncul di jawaban yang dihasilkan AI.

Sumber

• Cloudflare - "Memperkenalkan bayar per crawl," blog.cloudflare.com
• TechCrunch - "Kebijakan baru Cloudflare mendorong perusahaan AI untuk membayar konten penerbit" (1 Juli 2026), techcrunch.com
• The Next Web - "Cloudflare akan memblokir crawler AI, membayar penerbit," thenextweb.com