Cloudflare gibt Website-Betreibern jetzt getrennte Kontrollen für Suchcrawler, Modelltrainings-Crawler und KI-Agenten. Die Einführung vom 15. September bietet neuen Domains zwei unterschiedliche Anfangskonfigurationen. Einer werbefinanzierten Website werden Search: Allow, Training: Disallow AI Training und Agent: Block on pages with ads vorgeschlagen. Einer Website ohne Werbeeinnahmen wird für alle drei Allow vorgeschlagen. Betreiber können die Empfehlungen bei der Einrichtung oder später ändern.

Bestehende Cloudflare-Domains folgen ihren früheren Entscheidungen. Eine Website, die den alten Schalter „Block AI Bots“ ausgeschaltet ließ, wechselt bei Search, Training und Agent zu Allow. Wer eine der beiden früheren Sperroptionen gewählt hatte, wechselt zu Search: Allow, Training: Disallow AI Training und Agent: Block on pages with ads. Domains mit bereits eingerichteten drei Kontrollen behalten die praktische Wirkung ihrer Entscheidungen gemäß Cloudflares Migrationstabelle. Die Kontrollen sind in jedem Tarif einschließlich Free verfügbar. Die Tarifberechtigung sagt einem Betreiber nicht, welche Richtlinie seine Domain derzeit verwendet.

Was die drei Kategorien abdecken

Cloudflares Änderungsprotokoll vom Juli definiert Search (Suche) als Crawling, das Inhalte zur Beantwortung späterer Anfragen indexiert. Agent (Agenten) umfasst Echtzeitaktivitäten im Auftrag einer Person, darunter Bots zum Abrufen von Chat-Inhalten und Agenten zur Browsernutzung. Training (Modelltraining) umfasst das Sammeln für Modelltraining oder Feinabstimmung. Ein Crawler kann mehrere Zwecke haben. Laut Cloudflare erfasst jede Sperroption verifizierte Bots in ihrer Klassifikation sowie weitere, nicht verifizierte Bots mit derselben Einstufung. Das ist eine klassifikationsbasierte Kontrolle und keine Behauptung, dass jeder automatisierte Browser oder jede unbekannte Anfrage erfasst wird.

Für eine Domain mit der Empfehlung für werbefinanzierte Websites gilt „Block on pages with ads“ für die Kategorie Agent auf Seiten, auf denen Cloudflare Werbeauslieferung erkennt. Es ist kein Agentenverbot für die gesamte Website. Search bleibt mit dieser Voreinstellung erlaubt. Training unterscheidet sich: Die September-Option Disallow AI Training veröffentlicht über Bot Preference Sync den Wunsch, Inhalte nicht zum Training zu verwenden, und sperrt Trainings-Crawler mit Ausnahme der von Cloudflare Accountable genannten Mehrzweck-Crawler. Diese können unter Beachtung der Trainingspräferenz weiterhin für Suchzwecke crawlen. Laut Cloudflare behandelt die Einstellung reine Trainings-Crawler separat; deren Sperrung muss daher die Suche nicht abschalten.

Diese September-Regelung präzisiert die Dokumentation vom Juli, die noch eine künftige Voreinstellung beschreibt, die Training und Agent auf Werbeseiten sperrt. Die spätere Einführungsankündigung und Cloudflares detaillierte Migrations- und Empfehlungstabellen vom September nennen für eine neue werbefinanzierte Domain Disallow AI Training; die Sperre auf Werbeseiten gilt für Agent. Die ältere Beschreibung ist nicht als allgemeine Richtlinie für bestehende Kunden zu lesen.

Auch „Disallow“ und „Block“ wirken bei einem Crawler für Suche und Training unterschiedlich. Laut Cloudflare machen Mehrzweck-Crawler 36.6% des verifizierten Crawler-Verkehrs im eigenen Netzwerk aus; eine vergleichbare Zahl für einzelne Websites wird hier nicht genannt. Eine vollständige Training-Sperre umfasst jetzt Mehrzweck-Crawler wie Googlebot, Bingbot und Applebot, wodurch auch deren Suchzugriff entfallen kann. Disallow AI Training soll den Suchzugriff von Accountable-Mehrzweck-Crawlern erhalten und zugleich die Trainingseinschränkung ausdrücken. Cloudflare nennt eine aktuelle Grenze: Microsoft hat für Bingbot bislang keine Unterstützung einer Nicht-Trainings-Präferenz in robots.txt ausgeliefert. Disallow AI Training zu wählen, übermittelt diese Präferenz heute daher nicht automatisch an Bing.

Was Website-Betreiber prüfen können

Öffnen Sie im Cloudflare-Dashboard für die Domain Security Settings → Configure AI bot policies (Sicherheitseinstellungen → KI-Bot-Richtlinien konfigurieren) und prüfen Sie die aktuellen Einstellungen für Search, Training und Agent. Cloudflares Konfigurationsdokumentation beschreibt Allow, Block und Block on pages with ads; der September-Bericht erklärt die zusätzliche Option Disallow AI Training und die Migration bisheriger Einstellungen. Wenn die Website auf Werbeeinblendungen angewiesen ist, prüfen Sie, ob die Domain die werbefinanzierte Voreinstellung verwendet und Agent auf erkannte Werbeseiten begrenzt ist. Wenn herkömmlicher Suchzugriff wichtig ist, prüfen Sie die Training-Auswahl, bevor Sie für Mehrzweck-Crawler Block wählen.

Dies sind Cloudflares dokumentierte Kontrollen und Einführungsregeln. BIG CHANGE hat weder ein Cloudflare-Konto verändert noch Bot-Verkehr auf einer aktiven Website gemessen.

Die große Veränderung

Cloudflare hat drei Nutzungsarten automatisierter Zugriffe in Richtlinien auf Domain-Ebene aufgeteilt. Für neue werbefinanzierte Domains hält die September-Empfehlung die Suche offen, äußert eine Nicht-Trainings-Präferenz und sperrt klassifizierte Agenten auf erkannten Werbeseiten. Bestehende Betreiber müssen ihre migrierten Einstellungen lesen, bevor sie Schlussfolgerungen über den Zugriff ziehen.

Quellen und weiterführende Informationen