Кратко

  • В редакции 00 terms.txt источник проверяет подпись запроса, заявленную цель, делегирование пользователя и платёжный ваучер до выдачи материала.
  • Подпись делает заявление атрибутируемым, а Access-Receipt фиксирует одну выдачу. Ни то ни другое не подтверждает правдивость цели и не управляет последующим использованием.
  • Daniel Kade предлагает реестр обязательств доступа, где предварительное исполнение, последующий аудит и договорные обязанности не смешиваются. Это редакционное предложение, а не требование IETF.

Не ещё один список пожеланий для краулера

RFC 9309 стандартизирует robots.txt, но прямо говорит: эти правила не являются авторизацией доступа. Сайт может попросить краулер не посещать путь, однако файл не удостоверяет оператора, не различает поиск и обучение, не проверяет платёж и не останавливает выдачу на сервере.

Редакция 00 terms.txt помещает решение на границу источника. По адресу /.well-known/terms.txt, используя конструкцию well-known URI, сайт мог бы для каждого пути и назначения разрешить, тарифицировать или запретить доступ. Правило также задаёт предел воспроизведения и может требовать пользовательского делегирования.

Автоматический клиент применяет отдельный проект рабочей группы Web Bot Auth и HTTP Message Signatures. Поле Access-Intent с целью и уровнем использования подписывается вместе с полным целевым URI. Когда это предусмотрено условиями, в подпись входят делегирование и одноразовый платёжный ваучер.

До выдачи источник может проверить опубликованный ключ, временное окно, уникальность nonce, целостность заявления, аудиторию и область делегирования, действующую версию условий, а также то, что ваучер действителен и ещё не потрачен. Это проверяемые факты в пределах его собственной системы.

Отказ остаётся локальным решением

Проект предлагает отвечать кодом 403, уточняя причину через Problem Details: неверная подпись, повтор, запрещённая цель, превышенный уровень использования, недостающее делегирование или платёж. Он не переопределяет зарезервированный код 402 и не использует 401 без WWW-Authenticate, сохраняя существующую семантику HTTP.

Этот 403 сообщает, что конкретный источник отказал в конкретном запросе. Он не превращается в общесетевой запрет или доказанный договорный проступок. Общий формат причины помогает взаимодействию, но не создаёт универсального органа принуждения.

Подпись тоже даёт ограниченную идентичность. Web Bot Auth показывает, что запрос подписал держатель ключа, опубликованного под разрешённым идентификатором агента. Источник может узнавать этот идентификатор, ограничивать скорость или блокировать его. Юридическое лицо за ключом требует отдельного доверия.

Отношения с поставщиком идентичности, выдающим пользовательское делегирование, остаются вне проекта. То же относится к сервису расчётов, выпускающему ваучеры. Совместимый формат токена не делает такого посредника законным представителем всех участников.

После выдачи меняется качество доказательства

В тексте разумно разделены три уровня. На первом источник исполняет проверяемые условия до передачи. На втором подписанное заявление можно сопоставить с наблюдаемым поведением после передачи. Третий уровень договорный: HTTP не знает, оказался ли контент в поисковом индексе, пересказе, обучающем наборе или полной публикации.

Действительная подпись доказывает, что владелец ключа сделал неизменённое заявление. Она не доказывает, что слово «поиск» описывает реальный замысел. Access-Receipt подтверждает выдачу конкретного представления по конкретным условиям. Квитанция не наблюдает последующие копии и не подтверждает соблюдение их владельцами.

Особенно ясно граница видна в кэшировании. Если посредник обслужит второй запрос сохранённым ответом, квитанция всё равно будет ссылаться на подпись первого запроса, а источник не зарегистрирует вторую выдачу. Поэтому для ответов с квитанцией требуется Cache-Control: no-store в рамках HTTP Caching. Пооперационная атрибуция отказывается от повторного использования ответа; будущая схема должна будет решать этот обмен явно.

Сам файл условий тоже нуждается в контроле. Синтаксическая ошибка делает недействительным весь terms.txt, и клиент ведёт себя так, будто условий нет. Проверка перед публикацией, атомарная смена версии, внешний мониторинг и доступная история здесь являются частью управления, а не только эксплуатационной гигиеной.

Редакция 00 не стала решением IETF

Datatracker называет документ индивидуальным Internet-Draft без потока и формального статуса в процессе стандартизации IETF. История фиксирует ручную публикацию редакции 00 11 сентября 2026 года. Нет принятия рабочей группой, ответственного Area Director, одобрения IESG или RFC.

В шапке автор указывает цель Standards Track, но в Datatracker поле предполагаемого статуса RFC пусто. Намерение автора не равно институциональному решению. Проекты рабочих групп о словаре предпочтений использования ИИ и их привязке к HTTP являются соседними, но отдельными документами.

Наличие кода также нельзя выдавать за соответствие. В документе перечислены 24 проверки и временные измерения, однако он сообщает, что выпуск v0.1 появился раньше и отличается в привязке URI, кодах состояния, формате токенов, идентификаторе, полях квитанции, представлении ваучера, кэшировании и имени связи. Это работающий эксперимент, но не проверка редакции 00 двумя независимыми реализациями.

Реестр, который не расширяет доказательство

Daniel Kade предлагает локальный реестр обязательств доступа. В каждой строке должны быть источник и путь, идентификатор и хеш условий, заявленные цель и уровень использования, идентификатор агента и предел удостоверения личности, издатель и область делегирования, платёжный орган, решение до выдачи, хеши ответа и контента, квитанция, последующее наблюдение, договорная обязанность, владелец спора, срок, отзыв и сменившие условия.

Policy Mirror Хэн Лу помогает увидеть место, где свидетельство превращается в решение. Minimum Initial Specification оставляет общий слой узким, сохраняя локальный выбор. Why BTW Media Exists требует рассказывать о новом механизме без превращения обещания в свершившийся факт. Сильная сторона terms.txt — не всеведение, а честно отмеченная граница.

Источники

  1. terms.txt в Datatracker
  2. История terms.txt
  3. terms.txt, редакция 00
  4. Проект Web Bot Auth
  5. Словарь предпочтений использования ИИ
  6. Привязка предпочтений ИИ к HTTP
  7. RFC 9309 — Robots Exclusion Protocol
  8. RFC 9421 — HTTP Message Signatures
  9. RFC 9457 — Problem Details
  10. RFC 9110 — HTTP Semantics
  11. RFC 9111 — HTTP Caching
  12. RFC 8615 — Well-Known URIs
  13. RFC 8126 — руководство по регистрациям IANA
  14. The Policy Mirror
  15. Minimum Initial Specification
  16. Why BTW Media Exists