AI-translated from English; not yet reviewed by a fluent editor.

# Cloudflare의 AI 봇 기본값은 사이트의 광고와 기존 설정에 따라 달라진다

> Cloudflare는 신규 광고 수익 도메인에 학습 금지 설정과 광고 페이지의 에이전트 차단을 제안한다. 기존 도메인은 이전된 선택을 따르며 소유자는 세 가지 제어를 모두 확인할 수 있다.

By BIG CHANGE Editorial

Published: 2026-10-18T21:03:34.849Z
Updated: 2026-10-18T21:03:34.849Z
Canonical: https://bigchange.ai/blog/cloudflare-ai-search-training-agent-access-controls

![Conceptual charcoal illustration of an empty chair facing a wall-mounted display of a generic webpage with a prominent orange advertising area.](https://bigchange.ai/api/media/file/cloudflare-ad-page-concept-v2.png)
AI-generated conceptual illustration by BIG CHANGE; no real website, Cloudflare setting, crawler access or test result is depicted.

Cloudflare는 이제 웹사이트 소유자에게 검색 크롤러, 모델 학습 크롤러, AI 에이전트를 각각 제어할 수 있는 기능을 제공한다. [9월 15일 도입된 기능](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/)은 신규 도메인에 서로 다른 두 가지 초기 구성을 제안한다. 광고로 수익을 내는 사이트에는 Search: Allow, Training: Disallow AI Training, Agent: Block on pages with ads를 제안한다. 광고로 수익을 내지 않는 사이트에는 세 항목 모두 Allow를 제안한다. 소유자는 초기 설정 중이나 이후에 이 권장값을 바꿀 수 있다.

기존 Cloudflare 도메인은 이전 선택을 따른다. 예전 ‘Block AI Bots’ 스위치를 꺼 두었던 사이트는 Search, Training, Agent가 모두 Allow로 이전된다. 예전 두 차단 옵션 중 하나를 선택했던 사이트는 Search: Allow, Training: Disallow AI Training, Agent: Block on pages with ads로 이전된다. 이미 세 제어를 설정했던 도메인은 Cloudflare의 [이전 표](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/)에 따라 해당 선택의 실질적인 효과를 유지한다. 이 제어는 Free를 포함한 모든 요금제에서 제공된다. 요금제상 사용할 수 있다는 사실만으로 현재 도메인에 어떤 정책이 적용되는지는 알 수 없다.

## 세 범주가 다루는 것

Cloudflare의 [7월 변경 기록](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/)은 **Search(검색)**를 콘텐츠를 색인해 나중의 질의에 답하는 크롤링으로 정의한다. **Agent(에이전트)**는 사람을 대신하는 실시간 활동을 다루며, 채팅용 콘텐츠 수집 봇과 브라우저 사용 에이전트를 포함한다. **Training(학습)**은 모델 학습이나 미세 조정을 위한 수집을 다룬다. 크롤러는 목적이 둘 이상일 수 있다. Cloudflare에 따르면 각 차단 옵션은 해당 분류의 검증된 봇과 같은 방식으로 분류된 추가 미검증 봇을 포함한다. 이는 분류에 기반한 제어이지, 모든 자동화 브라우저나 식별되지 않은 요청을 잡아낸다는 주장이 아니다.

광고 수익 사이트 권장값을 쓰는 도메인에서 ‘Block on pages with ads’는 Cloudflare가 광고를 게재한다고 감지한 페이지의 Agent 범주에 적용된다. 사이트 전체의 에이전트 금지를 뜻하지 않는다. 이 사전 설정은 Search를 계속 허용한다. Training 설정은 다르다. 9월의 **Disallow AI Training**은 Bot Preference Sync를 통해 학습에 사용하지 말라는 선호를 알리고, Cloudflare가 Accountable이라고 부르는 혼합 용도 크롤러를 제외한 학습 크롤러를 차단한다. Accountable 크롤러는 학습 선호를 지키면서 검색 크롤링을 계속할 수 있다. Cloudflare는 이 설정이 학습 전용 크롤러를 별도로 다루므로, 이를 차단하기 위해 검색까지 중단할 필요는 없다고 설명한다.

이 9월 구성은 [7월 문서](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/)의 내용을 구체화한다. 해당 문서는 여전히 광고 페이지에서 Training과 Agent를 모두 차단하는 향후 기본값을 설명한다. 이후의 [출시 발표](https://www.cloudflare.com/press/press-releases/2026/cloudflare-helps-end-the-search-or-ai-training-tradeoff/)와 Cloudflare의 상세한 9월 이전·권장값 표는 신규 광고 수익 도메인에 Disallow AI Training을 명시하며, 광고 페이지 차단은 Agent에 적용한다. 이전 설명을 기존 고객 모두에게 적용되는 보편적인 정책으로 읽어서는 안 된다.

‘Disallow’와 ‘Block’은 검색과 학습에 함께 쓰이는 크롤러에도 다른 영향을 준다. Cloudflare는 혼합 용도 크롤러가 자사 네트워크의 검증된 크롤러 트래픽 중 36.6%를 차지한다고 밝혔지만, 여기서 개별 사이트에 대한 비교 가능한 수치는 제시하지 않는다. Training을 완전히 차단하면 이제 Googlebot, Bingbot, Applebot 같은 혼합 용도 크롤러도 포함되어 검색 접근까지 없앨 수 있다. Disallow AI Training은 학습 제한을 알리는 동시에 Accountable 혼합 용도 크롤러의 검색 접근을 유지하기 위한 것이다. Cloudflare는 현재의 한계도 언급한다. Microsoft는 아직 Bingbot에 대해 `robots.txt`에서 학습 금지 선호를 지원하는 기능을 내놓지 않았으므로, 지금 Disallow AI Training을 선택해도 그 선호가 Bing에 자동으로 전달되지 않는다.

## 사이트 소유자가 확인할 수 있는 것

Cloudflare 대시보드에서 해당 도메인의 **Security Settings → Configure AI bot policies(보안 설정 → AI 봇 정책 구성)**를 열고 현재 Search, Training, Agent 선택을 확인한다. Cloudflare의 [구성 문서](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/)는 Allow, Block, Block on pages with ads를 설명하며, 9월 설명은 추가된 Disallow AI Training 선택과 기존 설정의 이전을 다룬다. 사이트가 광고 노출에 의존한다면 도메인이 광고 수익 사이트용 사전 설정을 쓰는지, Agent가 광고를 감지한 페이지에만 제한되는지 확인해야 한다. 일반 검색 접근 유지가 중요하다면 혼합 용도 크롤러에 Block을 선택하기 전에 Training 선택을 확인해야 한다.

이는 Cloudflare가 문서화한 제어와 도입 규칙이다. BIG CHANGE는 Cloudflare 계정을 변경하거나 실제 운영 사이트의 봇 트래픽을 측정하지 않았다.

## 핵심 변화

Cloudflare는 자동화된 접근의 세 용도를 도메인 단위 정책으로 나눴다. 신규 광고 수익 도메인에 대한 9월 권장값은 검색을 열어 두고, 학습 금지 선호를 알리며, 광고가 감지된 페이지에서 분류된 에이전트를 차단한다. 기존 소유자는 접근에 대한 결론을 내리기 전에 자신의 이전된 설정을 확인해야 한다.

## 출처 및 추가 읽을거리

- [Cloudflare, ‘두 가지를 함께: 검색 노출을 유지하면서 AI 학습은 허용하지 않기’](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) (2026년 9월 15일). 상세 도입 자료로 권장값 및 이전 표, 혼합 용도 크롤러 동작, Bing의 한계를 다룬다.
- [Cloudflare, ‘검색과 AI 학습 사이의 양자택일을 끝내도록 돕는 Cloudflare’](https://www.cloudflare.com/press/press-releases/2026/cloudflare-helps-end-the-search-or-ai-training-tradeoff/) (2026년 9월 15일). 출시 발표는 신규 광고 수익 사이트와 그 밖의 신규 사이트를 구분한다.
- [Cloudflare Developers, ‘AI 트래픽을 관리하는 새로운 옵션’](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/) (2026년 7월 1일). 세 범주의 최초 출시와 이전 기본값 설명.
- [Cloudflare Docs, ‘Block AI Bots’](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) (페이지에 표시된 마지막 업데이트: 2026년 7월 1일). 정의, 분류된 검증·미검증 봇, 대시보드 위치를 설명한다. 도입 전 기본값 문구는 상세한 9월 정책과 다르다.

## Sources

- [Cloudflare, Block AI Bots(마지막 업데이트 2026-07-01)](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) — 7월 1일자로 표시된 1차 구성 문서다. 범주 정의, 검증·미검증 분류, 광고 페이지 감지 및 대시보드 경로를 다룬다. 향후 기본값 문구는 9월 도입 이전의 것으로 이후 상세 설명이 이를 대체한다.
- [Cloudflare, AI 트래픽 제어 발표(2026-09-15)](https://www.cloudflare.com/press/press-releases/2026/cloudflare-helps-end-the-search-or-ai-training-tradeoff/) — 1차 출시 발표다. 신규 광고 수익 사이트는 Search 허용, Training 비허용, 광고 페이지의 Agent 차단을 제안받으며 다른 신규 사이트는 세 가지를 모두 허용한다.
- [Cloudflare Developers, AI 트래픽을 관리하는 새로운 옵션(2026-07-01)](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/) — 세 범주의 최초 출시와 예정된 9월 기본값을 담는다. 최종 도입 규칙으로 쓰기보다 연대기 설명을 위해 유지한 자료다.
- [Cloudflare, 두 가지를 함께: 검색 노출을 유지하면서 AI 학습은 허용하지 않기(2026-09-15)](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) — 판단 기준이 되는 상세 도입 기록이다. 신규 도메인 권장값, 기존 도메인 이전, 혼합 용도 크롤러에 대한 Disallow와 Block의 차이, Bingbot 한계를 다룬다.