Cloudflare блокирует ИИ-краулеры: что это значит для обратных ссылок
•2 октября 2026 г.•7 мин чтения
15 сентября 2026 года Cloudflare переключил настройку по умолчанию, которая затрагивает пятую часть веба, и тихо изменил то, что обратная ссылка может для вас сделать. Страницы, защищённые Cloudflare, теперь блокируют по умолчанию «смешанного назначения» ИИ-краулеры на сайтах с рекламной поддержкой, тогда как классические поисковые краулеры вроде Googlebot продолжают проходить. Для всех, кто покупает ссылки, это создаёт разделение, которого раньше не существовало: ссылка по-прежнему может передавать полную ценность для поиска Google и передавать no ценность для цитирований в AI-поиске исключительно из-за настроек ботов донора. Вот что изменилось, почему это важно для вашего ссылочного профиля и какую одну проверку стоит сделать на доноре до оплаты.
Резюме
- Что: Поскольку 15 сентября 2026, стандартные блокировки Cloudflare для краулеров, смешивающих функции поиска, обучения и агентов на страницах с рекламой. Одноцелевые поисковые краулеры вроде Разрешить Googlebot; «смешанного использования» и обучающие/агентские краулеры блокируются.
- На кого это влияет: Новое правило по умолчанию применяется к новые домены и бесплатные тарифы. Существующие сайты на Cloudflare не меняются автоматически, но любой владелец может включить это.
- Оплата за обход / оплата за использование: Cloudflare позволяет издателям устанавливать для каждого краулера Allow, Charge или Block, а его модель Pay Per Use (анонсированная 1 июля 2026 года) платит им, когда их контент появляется в ответе ИИ.
- Почему это важно для ссылок: Если GPTBot, ClaudeBot или PerplexityBot не могут получить доступ к странице донора, на которой живёт ваша ссылка, эта ссылка не может питать цитирования в AI-поиске, даже если она идеальна для классического Google SEO.
- Новая проверка: Прежде чем покупать ссылку для видимости в ИИ, убедитесь, что донор доступен для ИИ-краулеров, а не только в том, что у него хороший DR.
Что Cloudflare на самом деле изменила
Позиция Cloudflare в том, что решать, кто получает их контент, должны авторы, а не ИИ-компании. Как сказано в анонсе pay-per-crawl: «Если автор хочет заблокировать все ИИ-краулеры от своего контента, он должен иметь возможность это сделать. Если автор хочет разрешить полный доступ к своему контенту некоторым или всем ИИ-краулерам бесплатно, он также должен иметь такую возможность». Изменение 15 сентября превратило этот принцип в настройку по умолчанию.
Механика важна. На страницах с рекламой Cloudflare теперь блокирует краулеры в обучение и агент категории по умолчанию и блокирует «смешанные» краулеры, которые не разделяют чётко свои действия. Чистые search сканеры остаются разрешёнными, поэтому Googlebot не затрагивается. Издатели также могут подключиться к Pay Per Crawl, устанавливая каждому сканеру одно из трёх состояний — «Разрешить» (бесплатно), «Тарифицировать» (требовать оплату) или «Блокировать» — при этом Cloudflare выступает в роли продавца от имени третьего лица. Более новая модель Pay Per Use, объявленная 1 июля 2026 года, выплачивает издателям на событии вывода, когда их контент появляется в сгенерированном ИИ ответе, а не при каждом сканировании.
Ключевая деталь области применения: этот параметр по умолчанию применяется к новые домены и бесплатные тарифы. Устоявшийся сайт, уже работающий на Cloudflare, не переключится 15 сентября. Но этот перекос важен для покупателей ссылок, потому что значительная доля дешёвых, только что развёрнутых сайтов-доноров — это именно новые домены с бесплатным тарифом, которых удар затронет сильнее всего.
Почему это важно для ваших обратных ссылок
Бэклинк работает, только если страница, на которой он стоит, может быть прочитана тем, на кого вы хотите повлиять. Для классического SEO этим читателем является Googlebot — и Googlebot по-прежнему проходит через новый дефолт Cloudflare. Для AI-поиска читатели — это совсем другие боты, и именно их теперь начали отсекать. Результат — двухканальное разделение в одной ссылке:
| Сканер | Цель | Cloudflare по умолчанию (ad pages) | Влияние на вашу ссылку |
|---|---|---|---|
| Googlebot | Классический поиск | Разрешено | Полная ценность для ранжирования в Google |
| GPTBot (OpenAI) | Обучение / агент | Заблокировано | Нет пути в ответы ChatGPT |
| ClaudeBot (Anthropic) | Обучение / агент | Заблокировано | Нет пути в ответы Claude |
| PerplexityBot | Агент / ответ-движок | Заблокировано | Нет пути в цитирования Perplexity |
Прочтите это как предупреждение для цели по видимости в ИИ, которую сейчас ставят перед собой многие покупатели ссылок. Мы рассматривали в нашем материал о том, откуда приходят ссылки, цитируемые ИИ что растущая доля бюджетов на ссылки направлена на то, чтобы быть упомянутым в ChatGPT и Perplexity, а не только на ранжирование на первой странице. Если страница-донор закрыта новым дефолтом Cloudflare, эти деньги не покупают ничего для ИИ-цитирований — ИИ-краулеры никогда не видят эту ссылку. Для чистого Google SEO ссылка подходит. Для ИИ-поиска она может быть невидимой.
Купленный вами донор может уже быть невидим для ИИ
Это не гипотетика. Дешёвая ссылка, размещённая на только что зарегистрированном сайте на бесплатном тарифе Cloudflare, по этому умолчанию сейчас с высокой вероятностью блокирует каждого ИИ-краулера. Вы никогда не узнаете об этом по DR или графику трафика. Проверка проста, и это почти никем не делаемая проверка:
- Загрузите страницу как AI-краулер. Запросите URL донора с user-agent GPTBot или ClaudeBot и посмотрите, получаете ли вы контент или блокировку. 403 или страница-проверка означают, что ссылка невидима для этого движка.
- Прочтите robots.txt. Явный
Disallowправила для GPTBot, ClaudeBot, Google-Extended или PerplexityBot — прямой сигнал, что сайт решил не пускать ИИ. - Проверьте, является ли домен новым на бесплатном тарифе. Это свойства, которые таргетит стандартная настройка Cloudflare. Только что зарегистрированный донор — случай наивысшего риска.
- Убедитесь, что страница действительно рендерится для бота. Ссылка внутри контента, который видит только авторизованный пользователь, не передаёт ничего ни одному краулеру, включая ИИ.
Что проверить перед покупкой ссылки ради видимости в ИИ
Если ваша цель включает цитирование ИИ-движками, политика бота-краулера донора теперь — критерий покупки первого класса, наравне с релевантностью и реальным трафиком:
- доступ для AI-краулеров. Донор должен разрешать GPTBot, ClaudeBot и PerplexityBot загружать свой контент. Это новый решающий фактор, и его рынок пока не проверяет.
- Доступ Googlebot. Всё ещё разрешено по умолчанию, но всё равно проверьте — неправильно настроенный сайт может заблокировать всё.
- Реальный трафик и релевантность. Без изменений. Доступная страница без читателей и тематического совпадения остаётся слабой ссылкой.
- Устоявшийся, не свежесозданный. Доноры новых доменов на бесплатном тарифе, которые чаще всего блокируют ИИ-краулеры, — это и есть самые низкокачественные площадки по всем остальным причинам.
Главный вывод: доступность для ИИ и качество ссылок указывают в одном направлении. Доноры, которые по умолчанию блокируют ИИ-краулеров, непропорционально часто оказываются дешёвыми, новыми сайтами на бесплатных тарифах, которых и так стоит избегать.
К чему это ведёт покупателей ссылок
Cloudflare только что сделал политику ботов донора частью ценности ссылки. Размещение на реальном, устоявшемся сайте, который пускает ИИ-краулеров, может кормить и рейтинги Google, и цитирования ИИ. Размещение на новом, забитом рекламой сайте на бесплатном тарифе может не кормить ни то, ни другое. Именно это фильтр, лежащий в основе того, как Rixot подбирает размещения: реальный трафик, устоявшиеся сайты-доноры, доступные поисковым и AI-краулерам, а не одноразовые домены, хорошо выглядящие в инструменте метрик и закрытые от движков, которые важны. По мере того как AI-поиск продолжает поглощать клики, «а может ли AI вообще увидеть эту ссылку» перестаёт быть технической мелочью и становится главным вопросом.
FAQ
Блокирует ли Cloudflare Googlebot?
Нет. Дефолт Cloudflare от 15 сентября 2026 блокирует смешанных и обучающих/агентных ИИ-краулеров на страницах с рекламой, но одноцелевые поисковые краулеры вроде Googlebot остаются разрешёнными. Классическое Google SEO этим дефолтом не затронуто.
Каких ИИ-краулеров блокирует Cloudflare по умолчанию?
Сканеры в категориях обучения и агентов, а также «смешанного использования» сканеры, которые не разделяют свои функции — на практике GPTBot, ClaudeBot, PerplexityBot и подобные. Блокировка применяется по умолчанию на страницах с рекламной поддержкой для новых доменов и бесплатных тарифов.
Как это влияет на мои обратные ссылки?
Если страница донора, на которой размещена ваша ссылка, блокирует AI-краулеров, эта ссылка не может участвовать в цитировании в ChatGPT, Claude или Perplexity, хотя для поиска Google она по-прежнему передаёт вес. Для целей видимости в ИИ донор с блокировкой AI фактически мёртв.
Как проверить, блокирует ли донор AI-краулеры?
Загрузите страницу с использованием пользовательского агента GPTBot или ClaudeBot и посмотрите, получите ли вы контент или 403/вызов, и прочитайте robots.txt сайта на предмет правил Disallow для GPTBot, ClaudeBot, Google-Extended или PerplexityBot. Новые домены на бесплатных планах Cloudflare под наибольшим риском.
Что такое Cloudflare Pay Per Crawl?
Она позволяет издателям устанавливать для каждого AI-краулера значение Allow (бесплатно), Charge (требовать оплату) или Block, причём Cloudflare выступает как merchant of record. Связанная модель Pay Per Use, объявленная 1 июля 2026 года, платит издателям, когда их контент появляется в AI-сгенерированном ответе.
Источники
- Cloudflare — «Представляем pay per crawl», blog.cloudflare.com
- TechCrunch — «Новая политика Cloudflare вынуждает ИИ-компании платить за контент издателей» (1 июля 2026 г.), techcrunch.com
- The Next Web - «Cloudflare будет блокировать ИИ-краулеров и платить издателям», thenextweb.com
