要約

  • W3Cは8月30日、Web資源とエージェントシステムの適合性を、第三者が再実行できる方法で測るためのAgent Conformance and Benchmarking Community Groupを発足させた。
  • 構想には、観測証拠を明示する重み付き評価表、敵対的な参照ケースを含む実行可能な試験、バージョン付きエンジンとコーパス、スコア分布、既存枠組みとの対応表、共通報告形式が含まれる。
  • 成功基準は三つある。独立した二者が同じスコアを再現すること、仕様策定グループが試験一式を引用すること、規制・監査・調達の枠組みが報告形式を参照することだ。
  • 再現は手順の安定性、引用は技術的採用、制度的参照は別の意思決定系での利用を示す。いずれも単独では指標の妥当性を証明せず、Community Groupに製品認証権限を与えない。
  • 現在のページではJulian Josephが議長で、参加者は5人。9月2日の確認時点で、完成した報告書、評価表、試験、コーパス、報告形式へのリンクはなかった。
  • 将来のスコアには、要求事項、評価表、重み、閾値、エンジン、コーパス、実行環境、独立性、原証拠、除外、更正履歴、さらに利用した意思決定者の権限を結び付ける受領記録が必要になる。

再現できた数字が語る範囲

W3C Community Development Teamが新グループを告知したのは8月30日である。発足文は、エージェントの識別、通信、記憶、行為証明を扱う活動はすでにある一方、その要件への適合をどう測り、採点し、独立に再現するかが欠けていると説明する。新グループは上流のプロトコルを作るのではなく、下流の試験と報告を扱う位置付けだ。

計画はかなり具体的である。重み付き評価表の各項目は、何を観測証拠として読むのかを明記する。試験一式には、合格する例だけでなく敵対的な参照ケースを入れる。公開結果にはエンジン、コーパス、日付の各版を付ける。ベンチマーク用コーパスは公開して版管理し、スコア分布も示す。そうして初めて「上位何パーセント」という表現を主張ではなく測定に近づけられる。

この方向は合理的だ。エンジンの版がなければ、二つの値を同じ計算として比べられない。コーパスが入れ替わっていれば、同じ名前の試験でも対象が違う。分布がなければ、パーセンタイルには検証可能な母集団がない。失敗するべきケースがなければ、製品が公開デモだけに合わせ込まれている可能性を排除できない。

だからこそ、「独立した二者が同一値を再現する」という基準には意味がある。二度目の実行が異なる値を返せば、隠れた依存関係、未記録の乱数、環境差、あるいは評価規則の曖昧さを発見できる。値が一致すれば、少なくとも宣言された条件のもとで、手順が同じ出力に到達したことを示せる。

しかし、同じ出力は正しい測定を保証しない。同じようにずれた二つの測定器も互いには一致する。二つの組織が、定義の狭い「安全性」、説明されていない重み、現実の失敗を欠くコーパスを忠実に処理することもできる。再現性は入力から出力までの経路を問う。構成概念の妥当性は、その出力が名称どおりの性質を表しているかを問う。外的妥当性は、実験環境が実運用を代表するかを問う。

合否の閾値にも別の判断が入る。ある値以上を合格と決めた理由は、計算を再実行できることからは導けない。誰が、どの利用場面と損失を想定し、どの証拠で線を引いたのか。閾値を更新する手続きは何か。同じスコアでも、研究上の比較、企業調達、法的義務では意味が異なる。

三つの成功は三つの行為

発足文は、再現以外に二つの成功を挙げる。仕様を作るグループが適合試験として引用すること。そして規制者、監査者、調達枠組みが報告形式を参照することだ。

これらを、再現から公認へ上る一つの階段と見るべきではない。独立再現は、手順を別の主体が追えるかどうかの出来事である。仕様グループの引用は、その仕様の所有者が特定の要件に対して特定版の試験を選んだ出来事である。制度的参照は、別の組織が自らの判断手続きに形式を組み込んだ出来事である。

制度的参照は現実の効果を持ち得る。調達者は提出書類を指定でき、監査者は証拠形式を求められ、規制者は法的権限の範囲で報告方法を認められる。ただし、拘束力の源は契約、監査権限、法令にある。参照された事実が逆向きに働き、Community Groupを一般的な規制者や認証機関に変えるわけではない。

グループ自身も線を引いている。組織の認証と商用製品の推奨、新たな識別・証明・プロトコル仕様の策定は対象外だ。他所で作られた仕様を利用する下流のグループと説明されている。優れた試験を作ることと、上流要件を決定する権限を持つことは別である。

文書の地位も分けなければならない。グループは「Specifications」を公開するとしている。一方、W3Cの文書分類ではCommunity Group Reportは標準化トラック外で、正式審査を受けておらず、W3Cの承認文書ではない。将来の標準化作業への入力にはなり得るが、その可能性を現在のW3C Recommendationと呼ぶことはできない。

発足直後という現在地

このグループはJulian Josephが8月25日に提案し、本人を含む5人の支持によって立ち上がった。W3Cは、ホスティングが活動への支持を意味しないと明記する。一般の仕組みでは、W3Cアカウントの保有者が提案し、さらに4人が支持すると発足する。参加にW3C会員資格は要らない。

発足通知には「これから議長を選ぶ」とあるが、その状態はすでに更新された。現在のページではJosephが議長で、参加者は5人、全員がCommunity Contributor License Agreementに署名済みと表示される。現状を語るならこちらを使うべきだ。

9月2日に確認した公開ページには、メーリングリストと発足告知はあったものの、報告書、評価表、実行可能な試験、コーパス、分布、報告形式へのリンクは見当たらなかった。これは確認した公開面だけについての記述であり、外部や非公開の作業を否定しない。将来の成果の質も決めない。ただ、現段階の記事が完成品の評価ではなく、発足時の制度設計を扱うことを意味する。

Josephは後続メールで、自身のapexclawaiでの仕事が提案のきっかけの一つだったと開示した。それを複数の入力の一つとして提供し、グループが一社、一つの道具、一つの方法論によって定義されるべきではないと述べる。由来の開示として有益だが、独立性は今後の運用で示す必要がある。

要求事項を書く人、コーパスや敵対的ケースを選ぶ人、試験を資金面で支える人は誰か。資金提供者が重みを変えたり、失敗を例外扱いしたりできるのか。二者が同じ閉じたサービスを呼び出した場合、それを独立再現と数えるのか。利害関係を公開するのか。誤った証拠を訂正するとき、過去の値を消さずに更新できるのか。

参加者5人という現在値から、これらの答えは出ない。また、将来影響を受ける開発者、調達者、労働者、利用者の母数も分からない。Lu Hengのいう参加は、証拠、知識、警告、異議を与え得るが、欠席する当事者を拘束する委任ではない。開かれた場の価値は、判断材料を増やすことにある。参加そのものを判断の代わりにしてはいけない。

スコアと一緒に残す受領記録

評価結果が製品比較、仕様議論、監査、入札へ移る前に、何者であるかを示す受領記録が必要だ。要求事項の出典と版、評価表、重み、閾値、例外の版、エンジン、コーパス、参照ケース、実行日時と環境を一体で保存する。関係する場合は、抽出条件、乱数シード、許容差も含める。

誰が実行し、再現者が組織上どのように独立し、どんな商業上の利害を申告したかも要る。各チェックが読んだ観測証拠、未加工の出力、除外、欠測、失敗例は、単一の合計値に置き換えない。集計前の内訳を残し、更正、異議申立て、撤回、後継版は履歴として追加する。

さらに、ベンチマーク外の欄を設けるべきだ。どの意思決定が結果を使い、その決定者は何に基づいて誰を拘束できたのか。仕様への引用、入札からの除外、監査上の指摘、規制判断、製品広告は同じ行為ではない。

これはDaniel Kadeによる編集上の提案であり、グループが採用済みの規則ではない。別の構造でもよい。第三者が、何を実行したか、値が何を意味するか、何が不明か、誰が後で権限を行使したかを分離して再構成できればよい。

同じスコアの再現は、測定手順を規律する。妥当性の検証は、スコアに付ける主張を規律する。意思決定権限の記録は、その利用を規律する。新グループが三層を混同しなければ、再現可能な数値を、根拠のない認証や普遍的な委任へ膨らませずに済む。

情報源

  1. W3C — Agent Conformance and Benchmarking Community Group参加募集
  2. W3C — Agent Conformance and Benchmarking Community Group
  3. Julian Joseph — 発足後のメッセージ
  4. W3C — Community and Business Groups
  5. W3C — Community and Business Groups FAQ
  6. W3C — 公開文書の種類
  7. Lu Heng — The Multi-Stakeholder Mirage