Cloudflare kini memberi pemilik situs kontrol terpisah untuk perayap pencarian, perayap pelatihan model, dan agen AI. Peluncuran pada 15 September menawarkan dua konfigurasi awal untuk domain baru. Situs yang didukung iklan ditawari Search: Allow, Training: Disallow AI Training, dan Agent: Block on pages with ads. Situs yang tidak menghasilkan pendapatan lewat iklan ditawari Allow untuk ketiganya. Pemilik bisa mengubah rekomendasi saat penyiapan awal atau setelahnya.

Domain Cloudflare yang sudah ada mengikuti pilihan sebelumnya. Situs yang membiarkan sakelar lama “Block AI Bots” mati beralih ke Allow untuk Search, Training, dan Agent. Situs yang memilih salah satu dari dua opsi pemblokiran lama beralih ke Search: Allow, Training: Disallow AI Training, dan Agent: Block on pages with ads. Domain yang sudah mengatur ketiga kontrol mempertahankan dampak praktis pilihan tersebut sesuai tabel migrasi Cloudflare. Kontrol tersedia di semua paket, termasuk Free; kelayakan paket tidak memberi tahu pemilik kebijakan apa yang kini berlaku pada domainnya.

Cakupan ketiga kategori

Menurut catatan perubahan Juli Cloudflare, Search (pencarian) adalah perayapan yang mengindeks konten untuk menjawab kueri berikutnya. Agent (agen) mencakup aktivitas waktu nyata atas nama seseorang, termasuk bot pengambil konten untuk chat dan agen yang menggunakan browser. Training (pelatihan) mencakup pengumpulan untuk pelatihan atau fine-tuning model. Satu perayap bisa memiliki lebih dari satu tujuan. Menurut Cloudflare, setiap opsi pemblokiran mencakup bot terverifikasi dalam klasifikasinya serta bot tambahan yang belum terverifikasi tetapi diklasifikasikan sama. Ini adalah kontrol berbasis klasifikasi, bukan klaim bahwa setiap browser otomatis atau permintaan yang tidak dikenal akan tertangkap.

Untuk domain yang memakai rekomendasi bagi situs beriklan, “Block on pages with ads” berlaku pada kategori Agent di halaman yang terdeteksi Cloudflare menayangkan iklan. Ini bukan larangan agen di seluruh situs. Search tetap diizinkan oleh kumpulan pengaturan tersebut. Training berbeda: opsi September Disallow AI Training menerbitkan preferensi agar konten tidak dipakai untuk pelatihan melalui Bot Preference Sync dan memblokir perayap pelatihan, kecuali perayap multiguna yang disebut Cloudflare sebagai Accountable. Perayap Accountable itu dapat terus merayapi untuk pencarian sambil menghormati preferensi pelatihan. Cloudflare mengatakan pengaturan tersebut menangani perayap khusus pelatihan secara terpisah, sehingga pemblokirannya tidak harus mematikan pencarian.

Susunan September ini memperinci dokumentasi Juli, yang masih menjelaskan pengaturan bawaan mendatang yang memblokir Training sekaligus Agent di halaman beriklan. Pengumuman peluncuran yang lebih baru beserta tabel migrasi dan rekomendasi terperinci September dari Cloudflare menetapkan Disallow AI Training untuk domain baru yang didukung iklan, sedangkan blok halaman beriklan diterapkan pada Agent. Penjelasan lama tidak boleh dibaca sebagai kebijakan universal untuk pelanggan yang sudah ada.

“Disallow” dan “Block” juga memiliki dampak berbeda pada perayap yang digunakan untuk pencarian dan pelatihan. Cloudflare mengatakan perayap multiguna menyumbang 36.6% lalu lintas perayap terverifikasi di jaringannya, tetapi tidak memberikan angka pembanding di sini untuk masing-masing situs. Pemblokiran Training penuh kini mencakup perayap multiguna seperti Googlebot, Bingbot, dan Applebot, yang juga dapat menghapus akses pencarian mereka. Disallow AI Training ditujukan untuk mempertahankan akses pencarian bagi perayap multiguna Accountable sambil menyatakan batasan pelatihan. Cloudflare mencatat batasan saat ini: Microsoft belum menyediakan dukungan preferensi tanpa pelatihan dalam robots.txt untuk Bingbot, sehingga memilih Disallow AI Training tidak otomatis menyampaikan preferensi itu kepada Bing saat ini.

Yang dapat diperiksa pemilik situs

Di dasbor Cloudflare, buka bagian domain Security Settings → Configure AI bot policies (Pengaturan Keamanan → Konfigurasi kebijakan bot AI) dan periksa pilihan Search, Training, dan Agent saat ini. Dokumentasi konfigurasi Cloudflare menjelaskan Allow, Block, dan Block on pages with ads; penjelasan September membahas pilihan tambahan Disallow AI Training dan migrasi pengaturan lama. Jika situs bergantung pada tayangan iklan, periksa apakah domain memakai kumpulan pengaturan untuk situs beriklan dan apakah Agent dibatasi pada halaman yang terdeteksi beriklan. Jika menjaga akses pencarian biasa penting, periksa pilihan Training sebelum memilih Block untuk perayap multiguna.

Inilah kontrol dan aturan peluncuran yang didokumentasikan Cloudflare. BIG CHANGE tidak mengubah akun Cloudflare atau mengukur lalu lintas bot pada situs aktif.

Perubahan besar

Cloudflare telah memisahkan tiga penggunaan akses otomatis menjadi kebijakan tingkat domain. Untuk domain baru yang didukung iklan, rekomendasi September mempertahankan pencarian, menyatakan preferensi tanpa pelatihan, dan memblokir agen yang diklasifikasikan di halaman yang terdeteksi beriklan. Pemilik lama perlu membaca pengaturan hasil migrasi mereka sendiri sebelum menyimpulkan akses yang berlaku.

Sumber dan bacaan lanjutan