Cloudflare는 이제 웹사이트 소유자에게 검색 크롤러, 모델 학습 크롤러, AI 에이전트를 각각 제어할 수 있는 기능을 제공한다. 9월 15일 도입된 기능은 신규 도메인에 서로 다른 두 가지 초기 구성을 제안한다. 광고로 수익을 내는 사이트에는 Search: Allow, Training: Disallow AI Training, Agent: Block on pages with ads를 제안한다. 광고로 수익을 내지 않는 사이트에는 세 항목 모두 Allow를 제안한다. 소유자는 초기 설정 중이나 이후에 이 권장값을 바꿀 수 있다.

기존 Cloudflare 도메인은 이전 선택을 따른다. 예전 ‘Block AI Bots’ 스위치를 꺼 두었던 사이트는 Search, Training, Agent가 모두 Allow로 이전된다. 예전 두 차단 옵션 중 하나를 선택했던 사이트는 Search: Allow, Training: Disallow AI Training, Agent: Block on pages with ads로 이전된다. 이미 세 제어를 설정했던 도메인은 Cloudflare의 이전 표에 따라 해당 선택의 실질적인 효과를 유지한다. 이 제어는 Free를 포함한 모든 요금제에서 제공된다. 요금제상 사용할 수 있다는 사실만으로 현재 도메인에 어떤 정책이 적용되는지는 알 수 없다.

세 범주가 다루는 것

Cloudflare의 7월 변경 기록은 Search(검색)를 콘텐츠를 색인해 나중의 질의에 답하는 크롤링으로 정의한다. Agent(에이전트)는 사람을 대신하는 실시간 활동을 다루며, 채팅용 콘텐츠 수집 봇과 브라우저 사용 에이전트를 포함한다. Training(학습)은 모델 학습이나 미세 조정을 위한 수집을 다룬다. 크롤러는 목적이 둘 이상일 수 있다. Cloudflare에 따르면 각 차단 옵션은 해당 분류의 검증된 봇과 같은 방식으로 분류된 추가 미검증 봇을 포함한다. 이는 분류에 기반한 제어이지, 모든 자동화 브라우저나 식별되지 않은 요청을 잡아낸다는 주장이 아니다.

광고 수익 사이트 권장값을 쓰는 도메인에서 ‘Block on pages with ads’는 Cloudflare가 광고를 게재한다고 감지한 페이지의 Agent 범주에 적용된다. 사이트 전체의 에이전트 금지를 뜻하지 않는다. 이 사전 설정은 Search를 계속 허용한다. Training 설정은 다르다. 9월의 Disallow AI Training은 Bot Preference Sync를 통해 학습에 사용하지 말라는 선호를 알리고, Cloudflare가 Accountable이라고 부르는 혼합 용도 크롤러를 제외한 학습 크롤러를 차단한다. Accountable 크롤러는 학습 선호를 지키면서 검색 크롤링을 계속할 수 있다. Cloudflare는 이 설정이 학습 전용 크롤러를 별도로 다루므로, 이를 차단하기 위해 검색까지 중단할 필요는 없다고 설명한다.

이 9월 구성은 7월 문서의 내용을 구체화한다. 해당 문서는 여전히 광고 페이지에서 Training과 Agent를 모두 차단하는 향후 기본값을 설명한다. 이후의 출시 발표와 Cloudflare의 상세한 9월 이전·권장값 표는 신규 광고 수익 도메인에 Disallow AI Training을 명시하며, 광고 페이지 차단은 Agent에 적용한다. 이전 설명을 기존 고객 모두에게 적용되는 보편적인 정책으로 읽어서는 안 된다.

‘Disallow’와 ‘Block’은 검색과 학습에 함께 쓰이는 크롤러에도 다른 영향을 준다. Cloudflare는 혼합 용도 크롤러가 자사 네트워크의 검증된 크롤러 트래픽 중 36.6%를 차지한다고 밝혔지만, 여기서 개별 사이트에 대한 비교 가능한 수치는 제시하지 않는다. Training을 완전히 차단하면 이제 Googlebot, Bingbot, Applebot 같은 혼합 용도 크롤러도 포함되어 검색 접근까지 없앨 수 있다. Disallow AI Training은 학습 제한을 알리는 동시에 Accountable 혼합 용도 크롤러의 검색 접근을 유지하기 위한 것이다. Cloudflare는 현재의 한계도 언급한다. Microsoft는 아직 Bingbot에 대해 robots.txt에서 학습 금지 선호를 지원하는 기능을 내놓지 않았으므로, 지금 Disallow AI Training을 선택해도 그 선호가 Bing에 자동으로 전달되지 않는다.

사이트 소유자가 확인할 수 있는 것

Cloudflare 대시보드에서 해당 도메인의 Security Settings → Configure AI bot policies(보안 설정 → AI 봇 정책 구성)를 열고 현재 Search, Training, Agent 선택을 확인한다. Cloudflare의 구성 문서는 Allow, Block, Block on pages with ads를 설명하며, 9월 설명은 추가된 Disallow AI Training 선택과 기존 설정의 이전을 다룬다. 사이트가 광고 노출에 의존한다면 도메인이 광고 수익 사이트용 사전 설정을 쓰는지, Agent가 광고를 감지한 페이지에만 제한되는지 확인해야 한다. 일반 검색 접근 유지가 중요하다면 혼합 용도 크롤러에 Block을 선택하기 전에 Training 선택을 확인해야 한다.

이는 Cloudflare가 문서화한 제어와 도입 규칙이다. BIG CHANGE는 Cloudflare 계정을 변경하거나 실제 운영 사이트의 봇 트래픽을 측정하지 않았다.

핵심 변화

Cloudflare는 자동화된 접근의 세 용도를 도메인 단위 정책으로 나눴다. 신규 광고 수익 도메인에 대한 9월 권장값은 검색을 열어 두고, 학습 금지 선호를 알리며, 광고가 감지된 페이지에서 분류된 에이전트를 차단한다. 기존 소유자는 접근에 대한 결론을 내리기 전에 자신의 이전된 설정을 확인해야 한다.

출처 및 추가 읽을거리