Кратко

  • 30 августа W3C запустил Agent Conformance and Benchmarking Community Group, которая намерена создавать открытые и воспроизводимые методы оценки веб-ресурсов и агентных систем.
  • В заявленный круг работ входят взвешенные рубрики с наблюдаемыми доказательствами, исполняемые тесты с состязательными примерами, версионированные движки и корпуса, распределения баллов, сопоставления с опубликованными рамочными документами и общий формат отчёта.
  • Названы три критерия успеха: две независимые стороны воспроизводят один балл; группа — автор спецификации ссылается на набор тестов; регулятор, аудитор или схема закупок использует формат отчёта.
  • Это разные события. Воспроизведение проверяет процедуру, ссылка фиксирует техническое принятие, институциональное использование вводит формат в чужую систему решений. Ни одно событие само по себе не валидирует метрику и не превращает Community Group в орган сертификации.
  • Сейчас страницу возглавляет Julian Joseph, указаны пять участников. На 2 сентября там не было ссылки на готовый отчёт, рубрику, тестовый набор, корпус или формат.
  • До применения балла в стандартизации, закупках, аудите или регулировании ему нужна квитанция с требованием, версиями, весами, порогом, средой, независимостью, исходными данными, исключениями, исправлениями и полномочиями принимающего решение.

Совпадение результата и правильность измерения

Сообщение W3C Community Development Team от 30 августа описывает узкую, но важную задачу. Другие инициативы уже занимаются идентичностью агентов, протокольными сообщениями, памятью и доказательствами действий. Новая Community Group хочет работать на следующем уровне: как измерять соответствие этим требованиям, тестировать его и публиковать результат так, чтобы несвязанная сторона могла повторить расчёт.

Для стартового описания план достаточно предметный. Каждый пункт взвешенной рубрики должен указывать, какие наблюдаемые доказательства он читает. Исполняемые наборы тестов должны включать состязательные эталоны, чтобы систему нельзя было настроить лишь под известный благополучный сценарий. Результат должен называть версию движка, версию корпуса и дату. Публичные корпуса предполагается версионировать и сопровождать распределениями баллов, чтобы процентиль был вычислением, а не рекламной характеристикой.

Эти требования закрывают реальные пробелы. Без версии движка нельзя понять, изменилась система или подсчёт. Если корпус незаметно обновился, два запуска с одним названием исследуют разные данные. Процентиль без опубликованного распределения не имеет проверяемой базы. Тест без примеров, обязанных завершиться неудачей, может измерять только способность распознать демонстрационный маршрут.

Поэтому первый критерий — две независимые стороны получили одно значение — полезен. Расхождение второго запуска способно выявить скрытую зависимость, незадокументированную случайность, разницу среды или неоднозначную норму. Совпадение показывает, что объявленная процедура при наблюдавшихся условиях пришла к одному выходу, и ослабляет монополию первого оператора на толкование.

Но совпадение не устанавливает правильность предмета. Два прибора согласуются и тогда, когда оба одинаково смещены. Две лаборатории могут безошибочно применить рубрику, которая слишком узко определяет «готовность», присваивает веса без объяснения или не включает частый сбой реальной эксплуатации. Воспроизводимость относится к устойчивости пути от входа к выходу. Конструктная валидность относится к тому, представляет ли выход свойство, указанное на этикетке. Внешняя валидность спрашивает, похож ли контролируемый корпус на мир, о котором будут сделаны выводы.

Порог добавляет отдельный выбор. Повторение 80 баллов не объясняет, почему 80 означает успех, а 79 — провал. Нужно знать, кто провёл границу, для какого применения и ущерба, на какой эмпирической основе и каким решением она меняется. Один и тот же балл может быть информативен в исследовании, недостаточен для отказа поставщику и не иметь юридического значения.

Три признака успеха не складываются в единый мандат

Кроме повторного результата группа называет ещё два исхода. Разработчик спецификации может сослаться на её набор как на тест соответствия. Регулятор, аудитор или закупочная система может сослаться на формат отчётности.

Это не последовательные уровни одной печати одобрения. Независимое воспроизведение — событие исполнения. Техническая ссылка — выбор владельца конкретного требования спецификации. Институциональная ссылка — решение другой организации включить формат в собственную процедуру.

Последнее способно породить реальные последствия. Заказчик может потребовать отчёт в тендере, аудитор — в составе доказательств, регулятор — признать способ раскрытия в пределах закона. Но обязательность исходит из условий закупки, аудиторского задания или правовой нормы. Она не переходит обратно к Community Group и не делает её источником всеобщих полномочий.

Сама группа обозначает границу. Сертификация организаций и одобрение коммерческих продуктов исключены, как и создание новых протоколов идентичности или доказательств. Группа называет себя нижестоящим потребителем спецификаций, созданных другими. Хороший тест может обслуживать требование, не присваивая себе право его устанавливать.

Не менее важен тип документа. В описании обещаны «Specifications», однако классификация W3C относит Community Group Report к материалам вне трека стандартов. Такие отчёты не прошли формальное рассмотрение и не одобрены W3C. Они могут стать исходным материалом для будущей стандартизации, но возможность перехода ещё не означает статус W3C Recommendation.

Что существует через несколько дней после запуска

Julian Joseph предложил группу 25 августа. Его поддержали ещё четыре человека, после чего условие создания было выполнено. W3C прямо указывает, что размещение группы не означает одобрения её работы. Общий порядок разрешает подать предложение владельцу учётной записи W3C, требует ещё четырёх сторонников и не требует членства в W3C для участия.

В стартовом сообщении говорилось, что группе ещё предстоит выбрать председателя. Текущая страница уже отражает другой статус: Joseph указан председателем, участников пять, все подписали Community Contributor License Agreement. Для настоящего времени верна новая запись.

На 2 сентября на странице были рассылки и объявление, но не было ссылки на опубликованный отчёт, рубрику, исполняемый набор, корпус, распределение или формат результата. Вывод ограничен просмотренной публичной страницей. Он не отрицает внешнюю или закрытую работу и ничего не говорит о качестве будущих материалов. Он лишь не позволяет рассматривать перечень намерений как готовый проверенный benchmark.

Joseph раскрыл ещё одну часть происхождения предложения. По его словам, работа в apexclawai подтолкнула его к инициативе; её результаты он предлагает как один вклад среди многих. Группа, добавил он, не должна определяться одной компанией, системой или методикой. Это полезное раскрытие и заявленная цель, но не доказательство уже достигнутой независимости.

Независимость проявится в контроле. Кто пишет требования и выбирает корпус? Кто финансирует прогоны? Может ли спонсор менять веса или исключать неудобные ошибки? Независимы ли два пользователя одного закрытого облачного движка? Раскрываются ли коммерческие интересы? Может ли проверяемый разработчик исправить неверное доказательство так, чтобы прежний результат сохранился в истории?

Пять участников не отвечают на эти вопросы и не являются знаменателем для всех разработчиков, покупателей, работников и пользователей, которых позже затронет применение теста. В логике Lu Heng участие приносит сведения, экспертизу, предупреждения и возражения, но не создаёт полномочие связывать отсутствующих принципалов. Открытая площадка полезна тем, что увеличивает объём проверяемых материалов, а не заменяет их самим фактом присутствия.

Квитанция, которая не даст баллу сменить смысл

До переноса результата в сравнение продуктов, спецификацию, аудиторский файл или конкурс он должен получить ограниченную, но целостную квитанцию. В ней нужны источник и версия требования; версии рубрики, веса, порога и исключений; движок, корпус, эталонные случаи, дата и среда запуска; при необходимости выборка, случайные затравки и допустимое отклонение.

Также указываются оператор, организационная независимость повторившей стороны и заявленные интересы. По каждому пункту сохраняются наблюдаемое доказательство, необработанный выход, пропуски, исключения и неудачные случаи. Состав балла до агрегации остаётся рядом с итогом. Исправления, обжалования, отзывы и замещающие версии дополняют историю, а не переписывают её.

Последнее поле находится за пределами самого теста: какое решение использовало результат и чем была ограничена компетенция решившего? Ссылка в спецификации не равна исключению из тендера. Аудиторское замечание не равно регуляторному выводу. Маркетинговая цифра не равна сертификату.

Это редакционная рекомендация Daniel Kade, а не принятое правило новой группы. Она может выбрать другую структуру. Минимум состоит в том, чтобы третья сторона могла раздельно восстановить исполнение, смысл числа, неопределённость и последующее применение власти.

Повтор одного балла дисциплинирует процедуру. Проверка валидности дисциплинирует утверждение о числе. Запись полномочий дисциплинирует последствия. Если Community Group удержит эти уровни отдельно, она сможет повысить качество тестов и не превратить переносимый результат в переносимый мандат.

Источники

  1. W3C — Приглашение в Agent Conformance and Benchmarking Community Group
  2. W3C — Agent Conformance and Benchmarking Community Group
  3. Julian Joseph — Сообщение после запуска
  4. W3C — Community and Business Groups
  5. W3C — Вопросы и ответы о Community Groups
  6. W3C — Типы публикуемых документов
  7. Lu Heng — The Multi-Stakeholder Mirage