Edisi Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# Pengaturan bawaan bot AI Cloudflare bergantung pada iklan dan setelan situs yang sudah ada

> Cloudflare menawarkan pengaturan tanpa pelatihan dan pemblokiran agen di halaman beriklan untuk domain baru yang didukung iklan. Domain lama mengikuti pilihan hasil migrasi; pemilik bisa memeriksa ketiga kontrol.

By BIG CHANGE Editorial

Published: 2026-10-18T21:03:34.849Z
Updated: 2026-10-18T21:03:34.849Z
Canonical: https://bigchange.ai/blog/cloudflare-ai-search-training-agent-access-controls

![Conceptual charcoal illustration of an empty chair facing a wall-mounted display of a generic webpage with a prominent orange advertising area.](https://bigchange.ai/api/media/file/cloudflare-ad-page-concept-v2.png)
AI-generated conceptual illustration by BIG CHANGE; no real website, Cloudflare setting, crawler access or test result is depicted.

Cloudflare kini memberi pemilik situs kontrol terpisah untuk perayap pencarian, perayap pelatihan model, dan agen AI. [Peluncuran pada 15 September](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) menawarkan dua konfigurasi awal untuk domain baru. Situs yang didukung iklan ditawari Search: Allow, Training: Disallow AI Training, dan Agent: Block on pages with ads. Situs yang tidak menghasilkan pendapatan lewat iklan ditawari Allow untuk ketiganya. Pemilik bisa mengubah rekomendasi saat penyiapan awal atau setelahnya.

Domain Cloudflare yang sudah ada mengikuti pilihan sebelumnya. Situs yang membiarkan sakelar lama “Block AI Bots” mati beralih ke Allow untuk Search, Training, dan Agent. Situs yang memilih salah satu dari dua opsi pemblokiran lama beralih ke Search: Allow, Training: Disallow AI Training, dan Agent: Block on pages with ads. Domain yang sudah mengatur ketiga kontrol mempertahankan dampak praktis pilihan tersebut sesuai [tabel migrasi](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) Cloudflare. Kontrol tersedia di semua paket, termasuk Free; kelayakan paket tidak memberi tahu pemilik kebijakan apa yang kini berlaku pada domainnya.

## Cakupan ketiga kategori

Menurut [catatan perubahan Juli](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/) Cloudflare, **Search (pencarian)** adalah perayapan yang mengindeks konten untuk menjawab kueri berikutnya. **Agent (agen)** mencakup aktivitas waktu nyata atas nama seseorang, termasuk bot pengambil konten untuk chat dan agen yang menggunakan browser. **Training (pelatihan)** mencakup pengumpulan untuk pelatihan atau fine-tuning model. Satu perayap bisa memiliki lebih dari satu tujuan. Menurut Cloudflare, setiap opsi pemblokiran mencakup bot terverifikasi dalam klasifikasinya serta bot tambahan yang belum terverifikasi tetapi diklasifikasikan sama. Ini adalah kontrol berbasis klasifikasi, bukan klaim bahwa setiap browser otomatis atau permintaan yang tidak dikenal akan tertangkap.

Untuk domain yang memakai rekomendasi bagi situs beriklan, “Block on pages with ads” berlaku pada kategori Agent di halaman yang terdeteksi Cloudflare menayangkan iklan. Ini bukan larangan agen di seluruh situs. Search tetap diizinkan oleh kumpulan pengaturan tersebut. Training berbeda: opsi September **Disallow AI Training** menerbitkan preferensi agar konten tidak dipakai untuk pelatihan melalui Bot Preference Sync dan memblokir perayap pelatihan, kecuali perayap multiguna yang disebut Cloudflare sebagai Accountable. Perayap Accountable itu dapat terus merayapi untuk pencarian sambil menghormati preferensi pelatihan. Cloudflare mengatakan pengaturan tersebut menangani perayap khusus pelatihan secara terpisah, sehingga pemblokirannya tidak harus mematikan pencarian.

Susunan September ini memperinci [dokumentasi Juli](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/), yang masih menjelaskan pengaturan bawaan mendatang yang memblokir Training sekaligus Agent di halaman beriklan. [Pengumuman peluncuran](https://www.cloudflare.com/press/press-releases/2026/cloudflare-helps-end-the-search-or-ai-training-tradeoff/) yang lebih baru beserta tabel migrasi dan rekomendasi terperinci September dari Cloudflare menetapkan Disallow AI Training untuk domain baru yang didukung iklan, sedangkan blok halaman beriklan diterapkan pada Agent. Penjelasan lama tidak boleh dibaca sebagai kebijakan universal untuk pelanggan yang sudah ada.

“Disallow” dan “Block” juga memiliki dampak berbeda pada perayap yang digunakan untuk pencarian dan pelatihan. Cloudflare mengatakan perayap multiguna menyumbang 36.6% lalu lintas perayap terverifikasi di jaringannya, tetapi tidak memberikan angka pembanding di sini untuk masing-masing situs. Pemblokiran Training penuh kini mencakup perayap multiguna seperti Googlebot, Bingbot, dan Applebot, yang juga dapat menghapus akses pencarian mereka. Disallow AI Training ditujukan untuk mempertahankan akses pencarian bagi perayap multiguna Accountable sambil menyatakan batasan pelatihan. Cloudflare mencatat batasan saat ini: Microsoft belum menyediakan dukungan preferensi tanpa pelatihan dalam `robots.txt` untuk Bingbot, sehingga memilih Disallow AI Training tidak otomatis menyampaikan preferensi itu kepada Bing saat ini.

## Yang dapat diperiksa pemilik situs

Di dasbor Cloudflare, buka bagian domain **Security Settings → Configure AI bot policies (Pengaturan Keamanan → Konfigurasi kebijakan bot AI)** dan periksa pilihan Search, Training, dan Agent saat ini. [Dokumentasi konfigurasi](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) Cloudflare menjelaskan Allow, Block, dan Block on pages with ads; penjelasan September membahas pilihan tambahan Disallow AI Training dan migrasi pengaturan lama. Jika situs bergantung pada tayangan iklan, periksa apakah domain memakai kumpulan pengaturan untuk situs beriklan dan apakah Agent dibatasi pada halaman yang terdeteksi beriklan. Jika menjaga akses pencarian biasa penting, periksa pilihan Training sebelum memilih Block untuk perayap multiguna.

Inilah kontrol dan aturan peluncuran yang didokumentasikan Cloudflare. BIG CHANGE tidak mengubah akun Cloudflare atau mengukur lalu lintas bot pada situs aktif.

## Perubahan besar

Cloudflare telah memisahkan tiga penggunaan akses otomatis menjadi kebijakan tingkat domain. Untuk domain baru yang didukung iklan, rekomendasi September mempertahankan pencarian, menyatakan preferensi tanpa pelatihan, dan memblokir agen yang diklasifikasikan di halaman yang terdeteksi beriklan. Pemilik lama perlu membaca pengaturan hasil migrasi mereka sendiri sebelum menyimpulkan akses yang berlaku.

## Sumber dan bacaan lanjutan

- [Cloudflare, “Dapatkan keduanya: tetap ditemukan di pencarian sambil melarang pelatihan AI”](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) (15 September 2026). Sumber peluncuran terperinci: tabel rekomendasi dan migrasi, perilaku perayap multiguna, serta batasan Bing.
- [Cloudflare, “Cloudflare membantu mengakhiri pilihan antara pencarian dan pelatihan AI”](https://www.cloudflare.com/press/press-releases/2026/cloudflare-helps-end-the-search-or-ai-training-tradeoff/) (15 September 2026). Pengumuman peluncuran membedakan situs baru yang didukung iklan dan situs baru lainnya.
- [Cloudflare Developers, “Opsi baru untuk mengelola lalu lintas AI”](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/) (1 Juli 2026). Peluncuran awal tiga kategori dan penjelasan pengaturan bawaan terdahulu.
- [Cloudflare Docs, “Block AI Bots”](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) (halaman ditandai terakhir diperbarui 1 Juli 2026). Definisi, bot terverifikasi dan belum terverifikasi yang diklasifikasikan, serta lokasi dasbor; rumusan pengaturan bawaan sebelum peluncuran berbeda dari kebijakan terperinci September.

## Sources

- [Cloudflare, Block AI Bots (terakhir diperbarui 2026-07-01)](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) — Dokumentasi konfigurasi utama bertanggal 1 Juli: definisi kategori, klasifikasi terverifikasi dan belum terverifikasi, deteksi halaman beriklan, serta jalur dasbor. Rumusan pengaturan bawaan mendatang mendahului peluncuran September dan digantikan penjelasan terperinci yang lebih baru.
- [Cloudflare, pengumuman kontrol lalu lintas AI (2026-09-15)](https://www.cloudflare.com/press/press-releases/2026/cloudflare-helps-end-the-search-or-ai-training-tradeoff/) — Pengumuman peluncuran utama: situs baru yang didukung iklan mendapat Search diizinkan, Training tidak diizinkan, dan Agent diblokir di halaman beriklan; situs baru lain mengizinkan ketiganya.
- [Cloudflare Developers, Opsi baru untuk mengelola lalu lintas AI (2026-07-01)](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/) — Peluncuran awal tiga kategori dan rencana pengaturan bawaan September, dipertahankan untuk kronologi, bukan dianggap sebagai aturan peluncuran akhir.
- [Cloudflare, Dapatkan keduanya: tetap ditemukan di pencarian sambil melarang pelatihan AI (2026-09-15)](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) — Catatan peluncuran terperinci yang menjadi acuan: rekomendasi domain baru, migrasi domain lama, Disallow versus Block bagi perayap multiguna, dan batasan Bingbot.