Cloudflare ofrece ahora a los propietarios controles separados para rastreadores de búsqueda, de entrenamiento de modelos y agentes de IA. Su lanzamiento del 15 de septiembre ofrece dos configuraciones iniciales para dominios nuevos. A un sitio financiado con publicidad se le propone Search: Allow, Training: Disallow AI Training y Agent: Block on pages with ads. A uno que no obtiene ingresos con anuncios se le propone Allow para los tres. Los propietarios pueden cambiar las recomendaciones durante la incorporación o después.

Los dominios existentes de Cloudflare siguen sus decisiones anteriores. Un sitio que tenía desactivado el antiguo interruptor «Block AI Bots» pasa a Allow para Search, Training y Agent. Uno que había elegido cualquiera de las dos opciones antiguas de bloqueo pasa a Search: Allow, Training: Disallow AI Training y Agent: Block on pages with ads. Los dominios que ya habían configurado los tres controles conservan el efecto práctico de esas decisiones según la tabla de migración de Cloudflare. Los controles están disponibles en todos los planes, incluido Free; poder usarlos por el plan no indica qué política tiene actualmente un dominio.

Qué abarcan las tres categorías

El registro de cambios de julio de Cloudflare define Search (búsqueda) como el rastreo que indexa contenido para responder a consultas posteriores. Agent (agentes) abarca la actividad en tiempo real en nombre de una persona, incluidos bots que recuperan contenido para chats y agentes que usan navegadores. Training (entrenamiento) abarca la recopilación para entrenar o ajustar modelos. Un rastreador puede tener varios propósitos. Cloudflare dice que cada opción de bloqueo cubre los bots verificados de su clasificación y otros no verificados clasificados del mismo modo. Es un control basado en clasificación, no una afirmación de que se detectará todo navegador automatizado o solicitud no identificada.

Para un dominio que usa la recomendación para sitios con publicidad, «Block on pages with ads» se aplica a Agent en las páginas que Cloudflare detecta como emisoras de anuncios. No describe una prohibición de agentes en todo el sitio. Ese conjunto de ajustes sigue permitiendo Search. La opción Training es distinta: Disallow AI Training, introducida en septiembre, publica una preferencia de no entrenamiento mediante Bot Preference Sync y bloquea los rastreadores de entrenamiento salvo los de uso mixto que Cloudflare denomina Accountable. Estos pueden seguir rastreando para búsqueda mientras respetan la preferencia de entrenamiento. Cloudflare dice que la opción trata por separado a los rastreadores dedicados solo a entrenamiento, por lo que bloquearlos no tiene por qué desactivar la búsqueda.

Esta configuración de septiembre precisa lo descrito en la documentación de julio, que aún presenta un valor predeterminado futuro que bloquea Training y Agent en páginas con anuncios. El posterior anuncio de lanzamiento y las tablas detalladas de migración y recomendaciones de septiembre de Cloudflare especifican Disallow AI Training para un dominio nuevo con publicidad, y aplican a Agent el bloqueo en páginas con anuncios. La descripción anterior no debe interpretarse como una política universal para clientes existentes.

«Disallow» y «Block» también tienen efectos distintos sobre un rastreador usado para búsqueda y entrenamiento. Cloudflare dice que los rastreadores de uso mixto representan el 36.6% del tráfico de rastreadores verificados en su red, aunque no aporta aquí una cifra comparable para sitios individuales. El bloqueo completo de Training incluye ahora rastreadores de uso mixto como Googlebot, Bingbot y Applebot, lo que también puede quitarles acceso para búsqueda. Disallow AI Training busca conservar ese acceso para los rastreadores mixtos Accountable mientras expresa la restricción de entrenamiento. Cloudflare señala un límite actual: Microsoft aún no ha incorporado soporte para una preferencia de no entrenamiento en robots.txt para Bingbot, por lo que elegir Disallow AI Training no transmite automáticamente esa preferencia a Bing hoy.

Qué puede comprobar el propietario de un sitio

En el panel de Cloudflare, abra para el dominio Security Settings → Configure AI bot policies (Configuración de seguridad → Configurar políticas de bots de IA) y revise las selecciones actuales de Search, Training y Agent. La documentación de configuración de Cloudflare describe Allow, Block y Block on pages with ads; su explicación de septiembre detalla la opción adicional Disallow AI Training y la migración de ajustes antiguos. Si el sitio depende de impresiones publicitarias, compruebe si el dominio usa el conjunto recomendado para publicidad y si Agent queda limitado a páginas con anuncios detectados. Si importa conservar el acceso de búsqueda convencional, revise Training antes de elegir Block para rastreadores de uso mixto.

Estos son los controles y las reglas de lanzamiento documentados por Cloudflare. BIG CHANGE no modificó una cuenta de Cloudflare ni midió el tráfico de bots de un sitio activo.

El gran cambio

Cloudflare ha separado tres usos del acceso automatizado en políticas por dominio. Para los dominios nuevos con publicidad, su recomendación de septiembre mantiene abierta la búsqueda, expresa una preferencia contra el entrenamiento y bloquea agentes clasificados en páginas donde detecta anuncios. Los propietarios existentes deben leer sus propios ajustes migrados antes de sacar conclusiones sobre el acceso.

Fuentes y lecturas adicionales