Cloudflare가 AI 크롤러를 차단: 백링크에 미치는 의미

2026년 9월 15일, Cloudflare는 웹의 5분의 1에 영향을 미치는 기본 설정을 변경했고, 이는 백링크가 할 수 있는 일을 조용히 바꿔놓았습니다. Cloudflare로 보호된 페이지는 이제 광고 기반 사이트에서 "혼합 사용" AI 크롤러를 기본적으로 차단하는 반면, Googlebot 같은 기존 검색 크롤러는 계속 통과시킵니다. 링크를 구매하는 사람들에게 이 조치는 이전에는 존재하지 않던 분열을 만듭니다. 링크는 여전히 Google 검색에서 전체 가치를 전달할 수 있고 no 기부자의 봇 설정 때문에 순수하게 AI 검색 인용에 대한 가치로, 여기에는 무엇이 바뀌었는지, 왜 링크 프로필에 중요한지, 결제 전에 기부자에 대해 실행해야 할 단 한 가지 확인 방법이 나와 있습니다.

Cloudflare이 실제로 변경한 것

Cloudflare의 입장은 AI 회사가 아닌 창작자가 그들의 콘텐츠에 누가 접근할지를 결정해야 한다는 것입니다. 유료 크롤링 발표에서 밝힌 바와 같이: "창작자가 자신의 콘텐츠에서 모든 AI 크롤러를 차단하고 싶다면 그렇게 할 수 있어야 합니다. 창작자가 일부 또는 모든 AI 크롤러에게 자신의 콘텐츠에 무료로 전면 접근을 허용하고 싶다면 그것도 할 수 있어야 합니다." 9월 15일 변경은 그 원칙을 기본값으로 전환시켰습니다.

메커니즘이 중요합니다. 광고 기반 페이지에서 Cloudflare가 이제 다음에서 크롤러를 차단합니다 교육 그리고 agent 기본적으로 카테고리별로 구분하며, 하고 있는 작업을 명확히 구분하지 않는 "복합用途" 크롤러를 차단합니다. 순수 search 크롤러는 허용된 상태로 유지되므로 Googlebot은 영향을 받지 않습니다. 퍼블리셔는 또한 각 크롤러를 "허용(무료)", "유료(결제 요구)", "차단" 세 가지 상태 중 하나로 설정해 Pay Per Crawl에 옵트인할 수 있으며, Cloudflare가 기록 상인이 역할을 합니다. 2026년 7월 1일에 발표된 새로운 Pay Per Use 모델은 매 크롤 시가 아니라 콘텐츠가 AI 생성 답변에 표면화될 때인 출력 이벤트 시점에 퍼블리셔에게 비용을 지급합니다.

결정적인 범위 세부 정보: 이 기본값은 다음에 적용됩니다 신규 도메인 및 무료 요금제. 이미 Cloudflare를 사용 중인 기존 사이트는 9월 15일에 자동으로 전환되지 않습니다. 하지만 이 편향은 링크 구매자에게 중요합니다. 값싸고 새로 막 만들어진 donor 사이트의 상당수가 바로 이 정책에 가장 큰 타격을 받는 신규 도메인, 무료 플랜 속성이기 때문입니다.

이것이 귀사의 백링크에 중요한 이유

백링크는 그것이 위치한 페이지를 영향력을 행사하려는 대상이 읽을 수 있어야만 작동합니다. 클래식 SEO에서 그 독자는 Googlebot이며, Googlebot은 여전히 Cloudflare의 새로운 기본 설정을 통과합니다. AI 검색의 경우 독자는 완전히 다른 봇 세트이며, 바로 그 봇들이 이제 막히고 있습니다. 그 결과 단일 링크에서 두 채널로 분할됩니다.

크롤러	목적	Cloudflare 기본값 (광고 페이지)	링크에 대한 영향
Googlebot	기존 검색	허용됨	Google 순위를 위한 완전한 가치
GPTBot (OpenAI)	교육 / 에이전트	차단됨	ChatGPT 답변으로 들어갈 경로 없음
ClaudeBot (Anthropic)	교육 / 에이전트	차단됨	Claude 답변으로 들어갈 경로 없음
PerplexityBot	에이전트 / 답변 엔진	차단됨	Perplexity 인용으로 들어갈 경로 없음

이것은 지금 많은 링크 구매자들이 추구하는 AI 가시성 목표에 대한 경고로 읽으세요. AI가 인용하는 링크가 어디서 오는지에 관한 글 성장하는 비율의 링크 예산이 1페이지 순위뿐만 아니라 ChatGPT와 Perplexity에 언급되기 위한 데 사용되고 있다는 점입니다.捐赠 페이지가 Cloudflare의 새로운 기본 설정 뒤에 가려져 있다면, 그 비용은 AI 인용에 전혀 도움이 되지 않습니다. AI 크롤러는 그 링크를 절대 보지 못합니다. 순수 Google SEO에는 링크가 괜찮습니다. AI 검색에는 보이지 않을 수 있습니다.

구매한 기부자가 이미 AI에게 보이지 않을 수 있습니다

이것은 가설이 아닙니다. Cloudflare 무료 요금제에 있는 신설 사이트에 저렴한 링크를 배치했다면, 이 기본값 때문에 지금 모든 AI 크롤러를 차단하고 있을 가능성이 큽니다. DR 점수나 트래픽 차트만으로는 절대 알 수 없습니다. 확인하는 방법은 간단하며, 거의 아무도 하지 않는 검사입니다:

• AI 크롤러로서 페이지를 가져오세요. GPTBot 또는 ClaudeBot 사용자 에이전트로 기증 URL을 요청해서 콘텐츠가 나오는지 차단되는지 확인하세요. 403 응답이나 챌린지 페이지가 뜨면 그 엔진에는 링크가 보이지 않는다는 뜻입니다.
• robots.txt를 읽으세요. 명시적 Disallow GPTBot, ClaudeBot, Google-Extended 또는 PerplexityBot에 대한 규칙은 그 사이트가 AI를 차단하기로 명시적으로 선택했다는 직접적인 신호입니다.
• 무료 플랜에 등록된 새로운 도메인인지 확인하세요. 이것들은 Cloudflare의 기본 타겟 속성입니다. 신생 등록된 도메인 donor가 가장 위험한 사례입니다.
• 봇에 대해 페이지가 실제로 렌더링되는지 확인하세요. 로그인한 사람만 볼 수 있는 콘텐츠 안의 링크는 크롤러나 AI 등 누구에게도 아무것도 전달하지 못합니다.

AI 가시성을 위해 링크를 구매하기 전 확인 사항

목표에 AI 엔진에서의 인용이 포함된다면, 도너의 봇 정책은 이제 구매 기준의 1차 항목으로, 관련성과 실제 트래픽 바로 옆에 놓입니다:

• AI 크롤러 접근. 기부자는 GPTBot, ClaudeBot, PerplexityBot이 콘텐츠를 가져올 수 있도록 허용해야 합니다. 이것이 새로운 결정적 신호이며, 시장이 아직 확인하지 않는 것입니다.
• Googlebot 접근. 기본 설정에서도 여전히 허용되지만, 어쨌든 확인하세요 — 잘못 설정된 사이트는 모든 것을 차단할 수 있습니다.
• 실제 트래픽과 관련성. 변함없습니다. 독자도 없고 주제 적합성도 없는 접근 가능한 페이지는 여전히 약한 링크입니다.
• 갓 만들어진 것이 아니라 확립된 사이트. 새 도메인의 무료 플랜 기부자는 AI 크롤러를 차단할 가능성이 높으며 다른 모든 측면에서도 가장 낮은 품질의 배치입니다.

贯穿始终의 결론은 AI 접근성과 링크 품질이 같은 방향을 가리킨다는 것입니다.

링크 구매자들을 위한 결론

Cloudflare는 후원자의 봇 정책을 링크 가치의 일부로 만들었습니다. AI 크롤러를 허용하는 실제 검증된 사이트에 게재되면 Google 순위와 AI 인용 모두에 기여할 수 있습니다. 새로 생기고 광고가 넘치며 무료 플랜인 사이트의 게재는 어느 쪽에도 기여하지 못할 수 있습니다. 이것이 바로 다음의 이면에 있는 필터입니다 Rixot 배치를 소싱합니다: 메트릭 도구에서는 멀쩡해 보이지만 중요한 엔진에서 차단되는 일회용 도메인이 아니라, 검색 및 AI 크롤러가 모두 실제로 도달할 수 있는 실제 트래픽, 확립된 기증자입니다. AI 검색이 클릭을 계속 흡수하면서, "AI가 이 링크를 볼 수 있는가"는 기술적인 사항이 아니라 질문이 됩니다.

FAQ

Cloudflare가 Googlebot을 차단하나요?

아니요. Cloudflare의 2026년 9월 15일자 기본값은 광고 지원 페이지에서 혼합 사용 및 학습/에이전트 AI 크롤러를 차단하지만, Googlebot 같은 단독 목적 검색 크롤러는 여전히 허용됩니다. 전통적인 구글 SEO는 이 기본값의 영향을 받지 않습니다.

Cloudflare 기본 차단으로 차단되는 AI 크롤러는 무엇인가요?

학습 및 에이전트 카테고리에서 크롤러와, 기능을 분리하지 않는 "혼합용" 크롤러 — 실제로는 GPTBot, ClaudeBot, PerplexityBot 등이 있습니다. 이 차단은 신규 도메인과 무료 플랜의 광고가 붙은 페이지에 기본적으로 적용됩니다.

이 변화가 내 백링크에 어떤 영향을 주나요?

링크를 호스팅하는 도너 페이지가 AI 크롤러를 차단하면, 해당 링크는 ChatGPT, Claude, Perplexity에서의 인용에 기여할 수 없지만, Google 검색에서는 여전히 가치를 전달합니다. AI 가시성 목표의 경우, AI 차단된 도너는 사실상 죽은 링크입니다.

기부 사이트가 AI 크롤러를 차단하는지 어떻게 확인하나요?

GPTBot 또는 ClaudeBot 사용자 에이전트로 페이지를 가져와서 콘텐츠를 받는지 아니면 403/차단 응답을 받는지 확인하고, 사이트의 robots.txt에서 GPTBot, ClaudeBot, Google-Extended, PerplexityBot에 대한 Disallow 규칙을 확인하세요. Cloudflare 무료 플랜의 새 도메인이 가장 위험합니다.

Cloudflare Pay Per Crawl이란?

게시자가 각 AI 크롤러를 허용(무료), 유료(결제 요구) 또는 차단으로 설정할 수 있게 해주며, Cloudflare가 판매 상거래 주체 역할을 합니다. 관련 종량제 모델은 2026년 7월 1일에 발표되었으며, 게시자의 콘텐츠가 AI 생성 답변에 노출되면 보상을 지급합니다.

소스

• Cloudflare - "유료 크롤링 도입," blog.cloudflare.com
• TechCrunch - "Cloudflare의 새 정책이 AI 기업들에게 발행사 콘텐츠에 대한 비용 지불을 요구"(2026년 7월 1일) techcrunch.com
• The Next Web - "Cloudflare, AI 크롤러를 차단하고 발행사에 지불," thenextweb.com