Кратко

  • В Pay Per Crawl расчетное событие возникает, когда аутентифицированный краулер выражает готовность заплатить и получает успешный ответ с crawler-charged. Такой документ подтверждает платную доставку, но не цитирование, обучение или созданную ценность.
  • Cloudflare называет число обходов грубой единицей стоимости. В опытах Pay Per Use момент оплаты смещается: Ceramic.ai платит за появление материала в результате поиска, а You.com позволяет агенту разово купить конкретный премиальный источник.
  • Анонсированный 21 августа Bot Preference Sync переносит настройки Search, Agent и Training в robots.txt. Заявленное правило и его исполнение сближаются, однако дальнейшее назначение контента требует отдельного подтверждения.
  • Monetization Gateway остается в списке раннего доступа. Cloudflare не раскрыла общую доступность, объем транзакций, выплаты издателям, собственную комиссию или выручку продукта.

Доставка имеет точную запись

В схеме Pay Per Crawl владелец домена выбирает для каждого краулера Allow, Charge или Block и устанавливает единую цену запроса для сайта. Бот может сначала получить 402 Payment Required с ценой, а затем повторить запрос, согласившись с точной суммой. Другой вариант — сразу указать максимальную готовность платить.

У расчетного события четкие границы. Личность должна быть подтверждена, правило должно разрешать сделку, запрос должен содержать платежное намерение, а успешный ответ — заголовок crawler-charged. Cloudflare описывает себя как Merchant of Record: она агрегирует события, выставляет счет краулеру и распределяет поступления издателю. Если у бота нет расчетных отношений с Cloudflare, режим Charge фактически превращается в сетевую блокировку, а не в продажу с отсрочкой.

Такой реестр гораздо надежнее добровольной просьбы. Видны контрагент, цена, решение о доступе и факт выдачи. Дальше наблюдение обрывается. Страница может попасть в тысячи ответов, сохраниться для поиска, войти в обучение или ни разу не использоваться.

Cloudflare сама формулирует эту границу, объясняя движение от Pay Per Crawl к Pay Per Use. Один обход — грубый показатель. Материал, загруженный единожды, может многократно появляться в ответах; многократно загруженный — не дать ни одного результата. У выдачи и применения разные часы и разные основания для оплаты.

Заявление должно совпасть с исполнением

До денег необходимо согласовать четыре звена. Владелец публикует предпочтение. Сетевая граница применяет правило. Краулер подтверждает личность. Заявленная цель соответствует разрешенной категории.

Bot Preference Sync закрывает первый разрыв. Выбор Search, Agent и Training в панели зоны отражается в robots.txt, причем прежние запреты сохраняются. Cloudflare прямо описывает проблему: файл может запрещать краулер, а правила на границе — не блокировать его. Некоторые операторы воспринимают такое противоречие как основание игнорировать предпочтение или искать обход.

Синхронизация делает запись согласованной, но не заменяет индивидуальные договоры. Список строится на идентичностях из BotBase и действует по категориям. Особые разрешения для одного партнера, правила по путям или двусторонняя лицензия автоматически не считываются. Издатель может допустить лицензированную компанию, сохранив общий запрет для остальных.

Идентичность также не должна ограничиваться строкой User-Agent. Pay Per Crawl использует Web Bot Auth и подписи сообщений. Оператору, который совмещает Search и Training и хочет сохранить поисковый доступ при запрете обучения, Cloudflare предъявляет дополнительные условия: соблюдать отказ от обучения, дать возможность выключить ИИ-резюме, предоставить видимость на уровне URL и поисковые метрики, а также публично показать, что отказ от обучения не ухудшает традиционный поиск.

Эти обязательства повышают проверяемость названия цели. Они по-прежнему требуют данных от самого оператора. Совпадение панели и robots.txt не доказывает само по себе, что модель не использовала материал позднее.

15 сентября проверит настройки, а не закроет рынок

Июльский анонс новых классификаций и правил по умолчанию установил срок 15 сентября 2026 года. Тогда Cloudflare говорила, что новые сайты будут разрешать Search, но блокировать Training и Agent на страницах с рекламой. Смешанные краулеры, не разделяющие цели, также должны были блокироваться на таких страницах. Изменение предполагалось и для существующих бесплатных клиентов, которые ничего не выбрали.

Августовский материал уточняет ввод в эксплуатацию. Издательский или рекламный сайт при подключении сможет выбрать Disallow для Training; не издательский сайт начнет без блоков; пользователям старого управляемого robots.txt предложат подтвердить переход. Политика все еще превращается в рабочее состояние. После срока нужно проверить фактическую матрицу, долю ручных изменений и то, действительно ли смешанные краулеры разделили личности и назначения.

Настройка по умолчанию меняет переговоры благодаря масштабу Cloudflare. В годовом отчете о ботах компания утверждает, что в июне 2026 года 52% измеренных в ее сети запросов краулеров относились к обучению, а смешанные боты давали более 36% активности. По ее оценке, за сетью Cloudflare находится более 20% веба. Это собственные измерения и определения компании, а не всемирная перепись. Но они объясняют, почему правило на этой границе может создать дефицит.

Дефицит дает переговорную силу. Он не является ни лицензией, ни расчетом с издателем.

Реестр использования расположен внутри результата

Опыты Ceramic.ai и You.com сдвигают платежное событие вниз по цепочке. В модели Ceramic.ai участвующий издатель получает плату, когда его материал появляется в поисковом результате, с данными о запросе, странице, фрагменте и позиции. В примере You.com агент покупает конкретный премиальный материал в момент необходимости.

Такое событие ближе к полезности, но сложнее для аудита. Как делить ответ, собранный из нескольких источников? Доказывает ли видимая ссылка причинный вклад? Как учитывать похожие страницы, пропущенную атрибуцию или контент из кэша? Единицей может стать запрос, результат, успешная задача, токены или период лицензии.

Cloudflare перечисляет Pay per Query, Pay per Result и другие модели как эксперименты. Универсальной единицы еще нет. Доступ легко посчитать, но трудно связать с ценностью. Результат ближе к ценности, однако зависит от внутреннего журнала покупателя и чаще становится предметом спора.

Attribution Business Insights показывает клиентам Bot Management успешные обращения, отношение обходов к переходам, трафик, оператора и поведенческую категорию. Это укрепляет позицию издателя. Сетевое наблюдение не восстанавливает само по себе корпус обучения или весь путь формирования ответа.

x402 расширяет перечень того, что можно оценить

Планируемый Monetization Gateway должен охватить страницы, наборы данных, API и вызовы инструментов MCP. Клиент получает инструкции x402, платит в стейблкоинах, повторяет запрос с доказательством и достигает исходного сервера только после проверки. Правила могут зависеть от маршрута, метода или сложности и управляться из панели, по API или через Terraform.

Для маленькой цифровой единицы это может убрать несоразмерные затраты на учетную запись, ключ и месячную подписку. Продавец отсечет неоплаченный поток до исходной инфраструктуры, а агент купит только нужный ресурс. Cloudflare соединит личность, политику, проверку платежа и выдачу в одной плоскости.

Однако анонс написан в будущем времени. Сейчас доступна форма ожидания раннего доступа. Не опубликованы дата общего запуска, производственный объем, чистые поступления продавцам, комиссия Cloudflare, правила возврата и спора, рабочие детали по активам и юрисдикциям или фактическая задержка. Цель расчета менее чем за секунду не является статистикой эксплуатации.

Консолидированные результаты тоже не заполняют пробел. Cloudflare сообщила о квартальной выручке 696,1 млн долларов, росте на 36% и свободном денежном потоке 56,4 млн долларов. В Form 10-Q сказано, что подписка и поддержка дают практически всю выручку, а указанное переменное вознаграждение в основном связано с превышением полосы пропускания. Клиенты, выручка или RPO трех инициатив отдельно не названы. Сильный существующий бизнес не доказывает коммерциализацию нового рынка.

Сверка двух книг

В книге доступа необходимо согласовать оплаченные запросы, успешные выдачи, чистые поступления издателю, время расчета, сбои, исключения и споры. В книге использования каждый запрос или задача должны соединяться с внесшим вклад ресурсом, лицензией, атрибуцией и платежом.

HTTP переносит цену и доказательство оплаты, но не дописывает права. Ответ 200 после 402 не означает автоматически согласие на обучение, хранение или распространение. Cloudflare создает все более надежный документ доступа. Переход к Pay Per Use признает, что документ ценности должен возникать в другом месте.

Источники