Resumo

  • No Pay Per Crawl, o evento faturável ocorre quando um crawler autenticado manifesta intenção de pagar e recebe uma resposta bem-sucedida com crawler-charged. O registro comprova acesso pago, não citação, treinamento ou valor gerado.
  • A própria Cloudflare chama a contagem de crawls de medida grosseira. Os testes de Pay Per Use deslocam o gatilho: a Ceramic.ai paga quando o conteúdo aparece em um resultado, enquanto a You.com permite que um agente compre uma peça premium específica.
  • O Bot Preference Sync, anunciado em 21 de agosto, faz o robots.txt refletir as escolhas de Search, Agent e Training configuradas na Cloudflare. A divergência entre preferência e bloqueio diminui; a prova do uso a jusante continua pendente.
  • O Monetization Gateway permanece em lista de acesso antecipado. Não há divulgação de disponibilidade geral, volume, repasses a editores, taxa da Cloudflare ou contribuição ao faturamento.

A borda consegue fechar uma parte da conta

O desenho do Pay Per Crawl oferece ao dono do domínio três ações por crawler: Allow, Charge e Block. O site define um preço uniforme por requisição. O robô pode descobrir esse preço ao receber 402 Payment Required e tentar novamente com o valor exato, ou informar na primeira chamada quanto aceita pagar no máximo.

O fato de cobrança tem critérios verificáveis. A identidade precisa ser aceita, a regra deve permitir a transação, a chamada deve carregar intenção de pagamento e a entrega tem de terminar com resposta bem-sucedida e cabeçalho crawler-charged. A Cloudflare diz que soma os eventos, cobra o crawler e distribui os ganhos ao editor como Merchant of Record. Quando não existe relação de faturamento com o comprador, selecionar Charge equivale na prática a bloquear; não surge uma venda só porque um preço foi exibido.

Esse livro é mais sólido do que um pedido voluntário. Há uma contraparte, um valor, uma decisão de acesso e uma confirmação de entrega. Ainda assim, ele para no momento em que o conteúdo deixa a borda. A página pode ser citada milhares de vezes, armazenada para busca, incorporada a treinamento ou nunca utilizada.

Ao explicar a mudança do Pay Per Crawl para o Pay Per Use, a Cloudflare admite a falha do denominador: rastrear é uma forma grosseira de medir valor. Uma página buscada uma vez pode sustentar muitas respostas; outra, rastreada repetidamente, pode não contribuir para nenhuma. Entrega e utilidade pedem relógios e comprovantes diferentes.

Preferência publicada não é regra executada

Antes do pagamento existe uma cadeia. O proprietário declara o que aceita, a rede aplica a decisão, o crawler prova sua identidade e o propósito declarado corresponde à permissão.

O Bot Preference Sync, anunciado em 21 de agosto, cuida da primeira divergência. As escolhas de Search, Agent e Training no painel da zona passam a aparecer no robots.txt, sem apagar proibições já existentes. A Cloudflare reconhece que um arquivo pode negar acesso enquanto a regra de borda ainda permite. Alguns crawlers tratam a contradição como justificativa para ignorar a preferência ou tentar contornar a proteção.

Sincronizar melhora a coerência do registro, não elimina as exceções comerciais. A lista é atualizada com os bots acompanhados no BotBase e trabalha por categoria. Regras específicas por empresa, caminho ou contrato não são absorvidas automaticamente. Um editor pode autorizar um parceiro licenciado e manter a categoria bloqueada para os demais.

A identidade também precisa ir além do texto do User-Agent. O Pay Per Crawl usa Web Bot Auth e assinaturas de mensagem. Para operadores que misturam Search e Training manterem o benefício da busca quando o site rejeita treinamento, a Cloudflare exige compromissos adicionais: respeitar a preferência, oferecer saída de resumos de IA, fornecer visibilidade por URL e métricas de busca e demonstrar que recusar treinamento não prejudica a busca tradicional.

Esses compromissos tornam o rótulo de finalidade mais auditável. Eles continuam dependendo da informação a jusante fornecida pelo operador. Um arquivo alinhado não comprova sozinho que um modelo deixou de usar determinado conteúdo.

15 de setembro será um teste de execução

O anúncio de julho sobre novas classificações e padrões marcou 15 de setembro de 2026 como prazo. A formulação inicial previa permitir Search e bloquear Training e Agent em páginas com anúncios para novos sites. Crawlers mistos que não separassem seus propósitos seriam bloqueados nessas páginas. Contas gratuitas existentes sem escolha própria também seriam alcançadas.

O texto de agosto adiciona nuances. Sites editoriais ou financiados por publicidade podem selecionar no cadastro Training como Disallow; sites não editoriais começam sem bloqueio; usuários do antigo robots.txt gerenciado serão convidados a revisar a migração. A política ainda está sendo convertida em produto. Depois da data, será preciso observar qual matriz entrou em vigor, quantos clientes a substituíram e se os operadores realmente separaram identidades e finalidades.

O padrão importa porque a Cloudflare controla uma fronteira grande. Em seu relatório de um ano, a empresa diz que 52% das requisições de crawlers medidas em sua rede em junho de 2026 eram de treinamento e que robôs de uso misto respondiam por mais de 36% da atividade. Também afirma que mais de 20% da web está atrás de sua rede. São números e definições da Cloudflare, não um censo mundial, mas mostram por que uma configuração nessa escala pode criar escassez e poder de negociação.

Escassez não liquida a operação. Bloquear ou exigir transparência pode abrir uma negociação sem definir licença nem pagamento.

O livro de uso mora dentro do resultado

As experiências com Ceramic.ai e You.com aproximam a cobrança do resultado. No modelo descrito da Ceramic.ai, o editor participante recebe quando seu conteúdo aparece na busca, com dados de consulta, página, trecho e posição. No exemplo da You.com, o agente compra sob demanda um item premium específico.

Isso representa melhor o uso, mas cria disputas de medição. Como dividir uma resposta que sintetiza várias fontes? Uma citação visível prova contribuição causal? Como tratar duplicatas, atribuição ausente ou material recuperado de cache? O preço deveria incidir sobre consulta, resultado, tarefa concluída, tokens ou prazo de licença?

A Cloudflare fala em Pay per Query, Pay per Result e outros modelos como testes. Não há uma unidade universal. A chamada é fácil de contar e distante do valor; o resultado se aproxima do valor, mas depende do registro interno do comprador.

O Attribution Business Insights entrega a clientes de Bot Management dados de acesso bem-sucedido, relação crawl-referência, banda, operador e categoria comportamental. É uma base melhor para negociar. A observação de rede não reconstrói sozinha um corpus de treinamento nem a cadeia completa que formou uma resposta.

x402 aumenta o que pode receber preço

O Monetization Gateway pretende levar cobrança a páginas, conjuntos de dados, APIs e chamadas de ferramentas MCP. O cliente receberia instruções x402, pagaria em stablecoins, repetiria a chamada com a prova e só alcançaria a origem depois da verificação. Regras poderiam variar por rota, método ou complexidade, administradas no painel, na API ou por Terraform.

Para uma unidade digital pequena, a proposta remove o custo de criar conta, chave e assinatura mensal. O vendedor mantém tráfego sem pagamento longe da origem; o agente compra apenas o recurso necessário. A Cloudflare reúne identidade, regra, verificação e entrega no mesmo plano.

Mas o anúncio está no futuro. O produto tem uma lista de espera. Não há data geral, volume de produção, valor líquido aos vendedores, comissão da Cloudflare, política de reembolso e disputa, detalhes operacionais de ativos e jurisdições ou latência real. A meta de liquidação em menos de um segundo não é histórico de desempenho.

Os números consolidados também não fecham essa conta. A Cloudflare informou US$ 696,1 milhões de receita no segundo trimestre, alta de 36%, e US$ 56,4 milhões de fluxo de caixa livre. O Form 10-Q diz que assinatura e suporte compõem praticamente toda a receita e que a contraprestação por uso descrita vem principalmente de banda excedente. Não há clientes, receita ou RPO separados para as iniciativas. O crescimento da companhia é contraponto a uma tese de fragilidade, não recibo de comercialização do novo mercado.

Dois livros, duas conciliações

No acesso, será necessário reconciliar chamadas pagas, entregas, valor líquido do editor, prazo, falhas, exceções e disputas. No uso, cada consulta ou tarefa deverá ser ligada ao recurso que contribuiu, à licença aplicável, à atribuição e ao pagamento.

HTTP carrega preço e prova de pagamento, mas não redige direitos por conta própria. Uma resposta 200 depois de um 402 não significa automaticamente consentimento para treinar, guardar ou redistribuir. A Cloudflare está tornando o comprovante de acesso mais forte. A passagem para Pay Per Use reconhece que o comprovante de valor precisa ser emitido em outro ponto.

Fontes