Cloudflare блокує AI-краулери: що це означає для зворотних посилань
•2 жовтня 2026 р.•7 min read
15 вересня 2026 року Cloudflare перемкнув налаштування, яке за замовчуванням торкається п'ятої частини веб, і непомітно змінив те, що зворотне посилання може зробити для вас. Сторінки, захищені Cloudflare, тепер блокують «універсальних» AI-краулерів за замовчуванням на сайтах з рекламою, тоді як класичні пошукові краулери, як-от Googlebot, і далі проходять. Для кожного, хто купує посилання, це створює поділ, якого раніше не існувало: посилання може й далі передавати повну цінність для пошуку Google і передавати no цінність для згадок у AI-пошуку, виключно через налаштування ботів донора. Ось що змінилося, чому це важливо для вашого профілю посилань та одна перевірка, яку варто зробити щодо донора перед оплатою.
Підсумок
- Що: З September 15, 2026, стандартні блокування Cloudflare блокують сканери, що поєднують функції пошуку, тренування та агентів на сторінках з рекламою. Одноцільові пошукові сканери, як-от дозвольте Googlebot; "змішане використання" і навчальні/агентські краулери блокуються.
- Кого це зачіпає: Нове правило за замовчуванням стосується нові домени й безкоштовні плани. Чинні сайти на Cloudflare автоматично не змінюються, але будь-який власник може це ввімкнути.
- Оплата за сканування / Оплата за використання: Cloudflare дозволяє видавцям встановлювати для кожного краулера режим «Дозволити», «Стягувати плату» або «Блокувати», а її модель Pay Per Use (анонсована 1 липня 2026 року) платить їм, коли їхній контент з'являється у відповіді AI.
- Чому це важливо для посилань: Якщо GPTBot, ClaudeBot або PerplexityBot не можуть завантажити сторінку донора, на якій живе ваше посилання, це посилання не може живити цитування в AI-пошуку, навіть якщо воно ідеальне для класичного Google SEO.
- Нова перевірка: Перш ніж купувати посилання заради видимості в ШІ, переконайтеся, що донор доступний для краулерів ШІ, а не лише має гарний DR.
Що Cloudflare насправді змінив
Позиція Cloudflare полягає в тому, що саме творці, а не AI-компанії, мають вирішувати, хто отримує доступ до їхнього контенту. Як зазначено в анонсі pay-per-crawl: «Якщо творець хоче заблокувати всі AI-краулери від свого контенту, він повинен мати можливість це зробити. Якщо творець хоче надати повний безкоштовний доступ деяким або всім AI-краулерам до свого контенту, він також повинен мати таку можливість». Зміна 15 вересня перетворила цей принцип на типовий режим.
Механіка має значення. На сторінках з рекламою Cloudflare тепер блокує сканери у навчання and agent категорії за замовчуванням і блокує краулери "змішаного використання", які не розділяють чітко, що саме вони роблять. Чисті search сканери залишаються дозволеними, тому Googlebot не зачіпається. Видавці також можуть підключитися до Pay Per Crawl, встановлюючи кожен сканер в один із трьох станів — «Дозволити» (безкоштовно), «Стягувати плату» (вимагати оплату) або «Блокувати» — при цьому Cloudflare виступає merchant of record. Новіша модель Pay Per Use, анонсована 1 липня 2026 року, виплачує видавцям за подією виведення, коли їхній контент з'являється у відповіді, згенерованій ШІ, а не за кожне сканування.
Ключова деталь щодо сфери застосування: це налаштування за замовчуванням застосовується до нові домени й безкоштовні плани. Сайт, що вже працює на Cloudflare, не вмикає це 15 вересня. Але цей перекіс важливий для покупців посилань, бо велика частка дешевих, щойно створених донорських сайтів — це саме ті нові домени на безкоштовному плані, які цей удар зачіпає найдужче.
Чому це важливо для ваших зворотних посилань
Зворотне посилання працює лише тоді, коли сторінка, на якій воно розміщене, може бути прочитана тим, на кого ви хочете вплинути. Для класичного SEO цей читач — Googlebot, і Googlebot все ще проходить через новий типовий захист Cloudflare. Для ШІ-пошуку читачі — зовсім інші боти, і саме їх зараз починають відсіювати. Результат — двоканальний розподіл в одному посиланні:
| Сканер | Мета | Cloudflare default (ad pages) | Вплив на ваше посилання |
|---|---|---|---|
| Googlebot | Класичний пошук | Дозволено | Повна цінність для рейтингів Google |
| GPTBot (OpenAI) | Навчання / агент | Заблоковано | Немає шляху у відповіді ChatGPT |
| ClaudeBot (Anthropic) | Навчання / агент | Заблоковано | Немає шляху у відповіді Claude |
| PerplexityBot | Agent / answer engine | Заблоковано | Немає шляху у цитування Perplexity |
Прочитайте це як попередження для мети AI-видимості, яку зараз має так багато покупців посилань. Ми розповіли в нашому матеріал про те, звідки беруться цитовані ШІ посилання що дедалі більша частка бюджетів на посилання спрямована на те, щоб бути згаданим у ChatGPT і Perplexity, а не лише ранжуватися на першій сторінці. Якщо сторінка-донор знаходиться за новим Cloudflare-стандартом, ці гроші не купують нічого для ШІ-цитувань — ШІ-краулери не бачать посилання. Для суто Google SEO посилання підходить. Для ШІ-пошуку воно може бути невидимим.
Куплений вами донор може вже бути невидимим для AI
Це не гіпотетично. Дешеве посилання, розміщене на новому сайті на безкоштовному плані Cloudflare, за замовчуванням, ймовірно, блокує кожного робота ШІ прямо зараз. Ви ніколи не дізнаєтесь це за оцінкою DR або графіком трафіку. Перевірити просто, і це перевірка, яку майже ніхто не робить:
- Завантажте сторінку як AI-краулер. Надішліть запит на URL донора з user-agent GPTBot або ClaudeBot і подивіться, чи отримаєте ви контент чи блокування. 403 або сторінка перевірки означає, що посилання невидиме для тієї системи.
- Прочитайте robots.txt. Явний
Disallowправила для GPTBot, ClaudeBot, Google-Extended або PerplexityBot — це прямий сигнал, що сайт вирішив не пускати AI. - Перевірте, чи це новий домен на безкоштовному тарифі. Це властивості, які цільові за замовчуванням Cloudflare. Щойно зареєстрований донор — це випадок найвищого ризику.
- Переконайтеся, що сторінка взагалі рендериться для бота. Посилання всередині контенту, який бачить лише залогінена людина, не передає нічого жодному краулеру, ШІ чи іншому.
Що перевірити перед купівлею посилання для видимості в ШІ
Якщо ваша мета включає цитування AI-системами, політика ботів донора тепер є першокласним критерієм купівлі, поряд із релевантністю та реальним трафіком:
- AI-crawler access. Донор повинен дозволяти GPTBot, ClaudeBot та PerplexityBot отримувати його контент. Це новий вирішальний сигнал, і поки що ринок його не перевіряє.
- доступ для Googlebot. Усе ще дозволено за замовчуванням, але все одно перевірте — неправильно налаштований сайт може заблокувати все.
- Реальний трафік і релевантність. Без змін. Доступна сторінка без читачів і без тематичної відповідності — усе ще слабке посилання.
- Створений, не свіжосконструйований. Нові донори з безкоштовним планом і новими доменами, які найімовірніше блокують AI-сканери, водночас є найнизькоякіснішими майданчиками з усіх інших причин.
Головна думка полягає в тому, що доступність ШІ та якість посилань вказують в одному напрямку. Донори, які за замовчуванням блокують роботів ШІ, непропорційно часто є дешевими, новими сайтами з безкоштовними планами, яких вам уже слід уникати.
Де це залишає покупців посилань
Cloudflare щойно зробила політику ботів донора частиною цінності посилання. Розміщення на реальному, усталеному сайті, який допускає AI-краулерів, може живити як ранжування в Google, так і згадки в AI. Розміщення на новому, перенасиченому рекламою сайті з безкоштовним тарифом може не живити жодного з них. Саме це й лежить в основі того, як Rixot знаходить розміщення: донори з реальним трафіком та сталою аудиторією, до яких справді можуть дістатися пошукові та AI-краулери, а не одноразові домени, що гарно виглядають у метричному інструменті та закриті для рушіїв, які мають значення. Коли AI-пошук продовжує поглинати кліки, "чи може AI взагалі побачити це посилання" перестає бути технічною деталлю і стає питанням.
FAQ
Чи Cloudflare блокує Googlebot?
Ні. Вересневе налаштування Cloudflare від 15 вересня 2026 за замовчуванням блокує змішаних і тренувальних/агентних ШІ-краулерів на сторінках з рекламою, але одноцільові пошукові краулери, як-от Googlebot, залишаються дозволеними. Класичне Google SEO це налаштування не зачіпає.
Яких ШІ-краулерів блокує Cloudflare за замовчуванням?
Сканери в категоріях навчання та агентів, а також «сканери змішаного використання», які не розділяють свої функції — на практиці GPTBot, ClaudeBot, PerplexityBot та подібні. Блокування застосовується за замовчуванням на сторінках з рекламою для нових доменів і безкоштовних планів.
Як це впливає на мої зворотні посилання?
Якщо сторінка донора, що містить ваше посилання, блокує AI-краулерів, це посилання не може сприяти цитуванню в ChatGPT, Claude чи Perplexity, хоча воно й далі передає цінність для пошуку Google. Для цілей AI-видимості донор, що блокує AI, фактично мертвий.
Як перевірити, чи донор блокує AI-краулери?
Завантажте сторінку за допомогою user-agent GPTBot або ClaudeBot і подивіться, чи отримаєте ви контент чи 403/виклик, і прочитайте robots.txt сайту на наявність правил Disallow проти GPTBot, ClaudeBot, Google-Extended або PerplexityBot. Нові домени на безкоштовних планах Cloudflare мають найвищий ризик.
Що таке Cloudflare Pay Per Crawl?
Воно дозволяє видавцям встановлювати кожен ШІ-сканер на Allow (безкоштовно), Charge (потребує оплати) або Block, з Cloudflare як продавцем від імені клієнта. Пов'язана модель Pay Per Use, оголошена 1 липня 2026 року, платить видавцям, коли їхній контент з'являється у відповіді, згенерованій ШІ.
Джерела
- Cloudflare — «Introducing pay per crawl», blog.cloudflare.com
- TechCrunch - "Нова політика Cloudflare змушує ШІ-компанії платити за контент видавців" (1 липня 2026 р.), techcrunch.com
- The Next Web — "Cloudflare блокуватиме AI-сканери й платитиме видавцям,"," thenextweb.com
