Cloudflare, la empresa encargada de la seguridad y el tráfico de una gran parte de los sitios web a nivel global, ha establecido un ultimátum para las empresas de inteligencia artificial: deberán separar sus rastreadores, es decir, los programas que recorren la web para recopilar información, según el uso que les dan, o serán bloqueados por defecto.
La fecha límite para cumplir con esta nueva directiva es el 15 de setiembre de 2026. A partir de ese día, según informó TechCrunch, los crawlers de «uso mixto» —que combinan búsqueda tradicional, agentes de IA y entrenamiento de modelos en un solo bot— serán bloqueados automáticamente en todos los sitios que alojan publicidad. Esto afectará a los nuevos clientes de Cloudflare, a los sitios nuevos de clientes ya existentes y a todos los usuarios del plan gratuito.
La lógica detrás de esta decisión es bastante clara: la mayoría de los propietarios de sitios web desean que su contenido aparezca en buscadores e incluso en servicios de IA, pero no están dispuestos a que su propiedad intelectual sea utilizada sin recibir ninguna compensación. Cloudflare ha apuntado específicamente al «motor de búsqueda más grande del mundo», haciendo referencia a Google, ya que esta empresa accede a aproximadamente el doble de información que otras compañías de inteligencia artificial. Esto se debe a que Google dificulta que los sitios sean descubiertos sin que su contenido sea utilizado para entrenar modelos.
Google, por su parte, ya ha respondido a críticas similares en el pasado. La compañía ofrece un bot llamado Google Extended que permite a los sitios web excluirse del uso de su contenido para entrenar productos como Gemini o Vertex API, sin que esto afecte su posición en los resultados de búsqueda. Sin embargo, el Googlebot principal sigue realizando rastreos para el Search, incluyendo funciones de IA como AI Overviews y AI Mode.
«Ahora que la mayoría del tráfico en internet es no humano, debemos ir más lejos y actuar más rápido para que pueda surgir un ecosistema sostenible», afirmó Matthew Prince, cofundador y CEO de Cloudflare, en alusión a un hito reciente: por primera vez, el tráfico generado por bots ha superado al generado por personas en la web, algo que no se esperaba hasta el próximo año.
El anuncio también incluye la evolución de una herramienta ya existente. El marketplace Pay Per Crawl, que permitía a los sitios cobrar a los bots de IA por cada vez que accedían a su contenido, se transforma ahora en «Pay Per Use»: los editores recibirán un pago cuando su contenido genere valor real, no simplemente cuando sea descargado. Cloudflare indica que más del 50% del tráfico de rastreo de bots de IA se gasta en volver a descargar páginas que no han cambiado, lo que implica un gasto innecesario de ancho de banda y recursos de cómputo para los sitios.
En una primera etapa, Cloudflare está trabajando con dos socios para implementar este modelo: Ceramic.ai y You.com. Cuando un editor se suma al programa, recibirá un pago cada vez que su contenido aparezca en los resultados de búsqueda de Ceramic o cuando You.com acceda a alguno de sus contenidos premium. Otras empresas de IA podrán adaptar el modelo a su propia forma de operar, según indicó la compañía.
Con información de Montevideo Portal
