Resumen

  • Pay Per Crawl registra una operación cuando un rastreador autenticado acepta pagar y recibe una respuesta correcta con crawler-charged. El comprobante acredita acceso y entrega, no cita, entrenamiento ni valor económico posterior.
  • Cloudflare admite que contar rastreos es una medida rudimentaria. Sus pruebas de Pay Per Use acercan el pago al resultado: Ceramic.ai remunera la presencia del contenido en una búsqueda y You.com permite a un agente comprar una pieza premium concreta.
  • Bot Preference Sync, anunciado el 21 de agosto, traslada a robots.txt las decisiones de Search, Agent y Training configuradas en Cloudflare. Reduce la contradicción entre lo declarado y lo bloqueado, pero no observa todo lo que ocurre después.
  • Monetization Gateway sigue en lista de espera. No hay cifras públicas de uso, ingresos para editores, comisión, disponibilidad general o aportación a los resultados de Cloudflare.

La caja registra la salida, no el destino

En el diseño de Pay Per Crawl, el propietario de un dominio decide para cada rastreador entre Allow, Charge y Block, con un precio plano por petición para todo el sitio. El comprador puede recibir un 402 Payment Required y volver aceptando el precio exacto, o indicar desde el principio el máximo que pagaría.

La operación solo se anota si la identidad es válida, existe intención de pago y el servidor responde correctamente con la cabecera crawler-charged. Cloudflare dice que agrega esos eventos, cobra al rastreador y distribuye el dinero al editor como Merchant of Record. Si el rastreador ni siquiera mantiene una relación de facturación con Cloudflare, la opción Charge funciona como un bloqueo; no se convierte en una venta pendiente.

Es una mejora considerable frente a una petición voluntaria. Hay comprador identificable, regla, precio, momento de entrega y registro de cobro. Sin embargo, el alcance termina ahí. Una página descargada puede alimentar miles de respuestas, ninguna o una base de recuperación que solo se consultará meses después.

Cloudflare reconoce el problema al explicar el cambio de Pay Per Crawl a Pay Per Use. Rastrear es una aproximación tosca al valor: la frecuencia de descarga y la frecuencia de uso pueden moverse en direcciones opuestas. El mercado necesita dos unidades porque mide dos hechos distintos.

La política solo vale si coincide con el control

Antes del dinero hay una cadena de confianza. El sitio expresa una preferencia; la red debe aplicarla; el rastreador debe demostrar quién es; y su propósito declarado debe corresponder a la categoría que recibe el permiso.

El nuevo Bot Preference Sync aborda la primera discontinuidad. Cloudflare toma las decisiones de zona sobre Search, Agent y Training y las refleja en robots.txt, conservando las prohibiciones preexistentes. La propia empresa señala que un archivo público puede decir «no» mientras las reglas de red siguen permitiendo el paso. Algunos rastreadores interpretan esa incoherencia como una excusa para ignorar la preferencia o buscar otra ruta.

Sincronizar mejora la calidad del registro, pero no vuelve universal la regla. Cloudflare usa las identidades que sigue en BotBase y genera instrucciones por categoría. Las excepciones negociadas con una empresa o las reglas por ruta y por bot no se integran automáticamente. Un editor puede tener una política general y un acuerdo comercial especial sin que uno sustituya al otro.

La identidad también necesita algo más que un User-Agent. Pay Per Crawl recurre a Web Bot Auth y firmas de mensaje. Para que un operador que mezcla Search y Training conserve acceso de búsqueda cuando el sitio rechaza el entrenamiento, Cloudflare exige compromisos adicionales: respetar la preferencia, permitir excluirse de los resúmenes de IA, ofrecer visibilidad por URL y demostrar que el rechazo del entrenamiento no perjudica la búsqueda tradicional. Son obligaciones comprobables alrededor de la etiqueta. No son una cámara dentro del modelo.

El 15 de septiembre pondrá a prueba el poder del valor predeterminado

El anuncio de julio sobre clasificaciones y controles fijó el 15 de septiembre de 2026 como fecha límite. La formulación original preveía permitir Search y bloquear Training y Agent en páginas con anuncios para nuevos sitios, además de bloquear en esas páginas a rastreadores mixtos que no separasen sus finalidades. Los clientes gratuitos existentes sin una elección propia también entrarían en el cambio.

El texto del 21 de agosto concreta otro detalle: el sitio editorial o financiado con publicidad puede elegir en el alta que Training empiece en Disallow; un sitio no editorial comienza sin bloqueos; los usuarios del antiguo robots.txt gestionado deberán revisar la migración. Es una política en ajuste, no un estado que ya pueda darse por cumplido. El recibo llegará cuando se observe qué matriz entra en producción, cuántos propietarios la modifican y qué rastreadores separan realmente sus identidades.

Cloudflare tiene capacidad para alterar la negociación porque controla un punto de paso amplio. En su informe de un año, afirma que el 52% de las peticiones de rastreadores observadas en su red en junio de 2026 correspondía a entrenamiento y que más del 36% procedía de rastreadores de uso mixto. También sostiene que más del 20% de la web está detrás de su red. Son mediciones y definiciones de Cloudflare, no un censo universal. Aun así, un bloqueo predeterminado en esa escala puede fabricar escasez y forzar una conversación comercial.

Escasez no significa liquidación. La regla puede dar poder al editor sin definir una licencia ni entregar todavía un pago.

El segundo libro se escribe donde nace la respuesta

Las pruebas con Ceramic.ai y You.com intentan acercar el hecho facturable al uso. Ceramic.ai pagaría a editores participantes cuando su contenido aparezca en resultados y mostraría la consulta, la página, el fragmento y la posición. El ejemplo de You.com permite a un agente comprar una pieza premium específica cuando la necesita.

El enfoque mejora el vínculo con el valor, pero hace más discutible la medición. ¿Cómo se reparte una respuesta que sintetiza diez fuentes? ¿Una cita visible demuestra aportación causal? ¿Qué ocurre con páginas duplicadas, atribuciones omitidas o contenido obtenido de una caché? El precio podría aplicarse a la consulta, al resultado, a la tarea resuelta, a los tokens o a un periodo de licencia.

Cloudflare habla de Pay per Query, Pay per Result y otros modelos como experimentos. Aún no existe una unidad canónica. El acceso es sencillo de contar y difícil de valorar; el resultado es más próximo al valor y más dependiente del libro interno del comprador.

Attribution Business Insights aporta a clientes de Bot Management datos sobre accesos correctos, relación entre rastreo y referencias, ancho de banda, operador y categoría de comportamiento. Es útil para negociar. No demuestra por sí solo que una URL entró en un conjunto de entrenamiento ni reconstruye la procedencia completa de una respuesta.

x402 amplía el inventario vendible

El Monetization Gateway propuesto por Cloudflare pretende aplicar pagos a páginas, conjuntos de datos, API y herramientas MCP. El cliente recibiría instrucciones x402, pagaría en stablecoins, repetiría la petición con una prueba y solo llegaría al origen tras la verificación. El vendedor podría definir reglas por ruta, verbo o complejidad y administrarlas desde el panel, la API o Terraform.

Para un recurso pequeño, el modelo evita exigir una cuenta, una clave y una suscripción mensual. El vendedor filtra la demanda impagada antes del origen y el agente compra una unidad cuando la necesita. Cloudflare reúne identidad, política, cobro y entrega en un único plano.

La descripción, sin embargo, sigue escrita en futuro. Hay una lista de acceso anticipado. No se han publicado fecha general, volumen real, pagos netos a vendedores, comisión de Cloudflare, reglas de devolución, activos y jurisdicciones detallados ni latencia observada. El objetivo de liquidar en menos de un segundo no es todavía un historial de servicio.

Tampoco puede encontrarse la conversión en las cuentas consolidadas. Cloudflare declaró 696,1 millones de dólares de ingresos trimestrales, un 36% más, y 56,4 millones de flujo de caja libre. Su 10-Q dice que suscripciones y soporte forman prácticamente todos los ingresos y que la contraprestación basada en uso identificada procede principalmente del exceso de ancho de banda. No desglosa clientes, ingresos o RPO de las iniciativas de monetización. La buena marcha del grupo no prueba que este mercado ya cobre vida.

Cerrar ambos libros

El libro de acceso tendrá que conciliar peticiones pagadas, entregas correctas, importe neto recibido, tiempo de liquidación, cobros fallidos, excepciones y disputas. El de uso deberá vincular cada consulta o tarea con el recurso que contribuyó, la licencia aplicable, la atribución y el pago.

HTTP transporta un precio y una prueba de pago, pero no redacta los derechos de explotación. Una respuesta 200 después de un 402 no es automáticamente permiso para entrenar, redistribuir o conservar. Cloudflare está construyendo un comprobante de acceso cada vez más sólido. El salto a Pay Per Use revela que el comprobante de valor nace en otra parte.

Fuentes