要約

  • 調査の力は、誰かが回答する前に始まる。すなわち、依頼者が母集団を定義し、トピックを選び、質問を構成し、回答カテゴリを提供し、項目を並べ、どの結果を見出しにするかを決定する。
  • 分母は対象となる、または影響を受ける母集団でなければならず、招待数、到達数、開始数、完了数、項目別回答数を分けて示す必要がある。回答者の割合だけではコミュニティの意見を確定できない。
  • 独立性には、調査票の設計、サンプリング、実地調査、保護された回答データ、分析、公開に対する管理が求められる。単に調査リンクを外部委託したり、匿名性を約束したりするだけでは不十分である。
  • 強固なレビューには、事前テスト、多言語対応、自由回答質問、無回答分析、調査票と方法の公開、独立したデータ管理、再現可能な集計表、異論の報告、公開された行動記録が組み合わされる。

メカニズムは、数える前の枠組み設定である

協議調査は一見、回答者に権限を移しているように見える。すなわち、機関が問いかけ、コミュニティが答えるという構図だ。しかし、最も重要な選択はその前に行われる。誰かが、レビューの対象を何にするか、どの失敗を名前で呼べるか、誰に質問票を送るか、どのような回答が可能か、結果をどのようにグループ化するかを決めるのである。

審査対象の機関がこれらの選択を管理するならば、たった一つの回答も削除することなく、可視的な異論を狭めることができる。サービスが満足かどうかは尋ねても、そのサービスが存在すべきか否かは尋ねないかもしれない。「コミュニケーションの改善」や「さらなる研修の提供」という選択肢を提示しながら、「統治ルールの変更」は除外するかもしれない。コミュニティを現在の参加者と定義し、離脱した人々を除外するかもしれない。

だからといって、すべての内部調査が不誠実になるわけではない。スタッフは業務を理解しており、十分な情報に基づいた質問をすることができる。自己評価は日常的な改善に役立つ。ガバナンス上の誤りは、管理権が依然として対象機関にあるにもかかわらず、その調査を独立した、または代表的なものと呼ぶことにある。

したがって、監査は最終的な図表からではなく、枠組み設定の権限から始めなければならない。誰が問題を質問票に載せることができ、誰がそれが現れるのを防ぐことができたのか。

分母は母集団であり、完了した回答票ではない

「回答者の72%が改革を支持する」という報告は、その質問項目に回答した人々について教えてくれる。しかし、標本抽出と回答がその推論を正当化しない限り、会員、オペレーター、利用者、または一般の人々の72%がそう考えているとは言えない。

目標母集団、抽出枠、既知の対象母集団、配信した招待数、到達したユニーク人数、調査開始数、完了数、各項目への有効回答数を公開すべきである。リンクが公開されていたなら、選択確率は不明であると明記する。組織が複数の回答を提出可能であった場合、所属と重複をどのように処理したかを説明する。

人々が質問をスキップしたり、離脱したりするため、分母は票の間で変化する。すべてのパーセンテージには、その項目レベルでの件数を表示すべきである。「わからない」「該当なし」「無回答」は分析上異なり、黙って除外されるべきではない。

機関全体に関する主張をする場合、現在のメーリングリスト購読者は弱い母集団である。彼らは残留した人々を過大に代表する。元会員、不受理の応募者、参加頻度の低いオペレーター、間接的に影響を受ける人々こそ、パフォーマンスレビューが最も必要とする証拠を握っている可能性がある。

レビューの依頼は、全段階の管理を意味しない

機関は、自らのレビューを委託し、費用を負担することがよくある。なぜなら、そのようなことを行う外的主体が存在しないからだ。支払い自体が独立性を損なうわけではない。問題は、どの管理が委譲され、保護されているかである。

独立性には少なくとも6つの要素がある。評価のための質問の定義、調査票の設計、標本の選択、実地調査の実施、識別可能なデータの保持、そして結果の分析と公開である。フォームをホストするが、スタッフが作成した質問を用いる外部企業は、限定的な意味でしか独立していない。

契約には、レビュアーが不利な調査結果を公表できること、方法論的判断を保持できること、限界を記述できること、依頼者による編集に抵抗できることを明記すべきである。機関は事実誤認を訂正し、機密情報を保護できるが、都合が悪いという理由で結果を抑圧してはならない。

資金、レビュアーの選定、利益相反、契約範囲、公表権は開示されるべきである。独立性とは、検査可能な設計であり、報告書に付け加えられる形容詞ではない。

APNIC はより強固な委託モデルを示している

APNIC の2018年執行協議会回答によると、隔年調査は Survey Matters によって独立して実施され、回答者の匿名性と公平性が保証された。方法は、経済圏を超えた対面およびオンラインのフォーカスグループから始まり、その後、APNIC スタッフおよび執行協議会と協議しながらオンラインフォームを開発した。

この調査は1,241件の有効回答を得て、広範なサブリージョンおよび発展状況の構成を報告した。これは説明のないウェブ投票よりも強固である。フォーカスグループが質問開発に情報を提供し、外部調査会社が作業を実施し、方法と件数が公開された。

同じ記録は境界を示している。スタッフと執行協議会が調査票開発に関与し、協議会が計画の一環としてレビューを委託した。これらは合理的な役割だが、読者が独立性を評価する際に可視的であるべきだ。

APNIC の2026年調査の告知は、独立した機関が調査を匿名で実施し、識別情報は APNIC に提供されないと再び述べている。データの保管は有意義な保護策である。調査票、サンプリング、分析のガバナンスも同様に重要である。

匿名性は回答者を保護するが、質問を保護しない

匿名収集は恐怖と社会的圧力を軽減できる。これは、回答者がリソース、雇用、会議参加資格、職業的地位を機関に依存している場合に特に重要である。APNIC が識別情報を組織から分離していることは、現実のリスクに対処している。

匿名性は文言を中立にするわけではない。回答者は、設計者が提供した選択肢の中からしか、私的に選ぶことができない。また、小さな人口統計的組み合わせが推測不可能であることを保証するわけでもない。ニッチな役割、地域、自由記述のインシデントによって個人が特定される可能性がある。

プライバシー設計では、何を収集するか、誰がそれを保持するか、保持期間、アクセス、抑制、自由記述の墨消しを明記すべきである。機関は行動するために必要なレベルのデータのみを受け取るべきだ。外部レビュアーは安全な保管と削除の確約を必要とする。

公開報告書は、匿名と機密を区別すべきである。匿名データは合理的に逆追跡できず、機密データは制限付きアクセスの下で追跡可能なリンクを保持する。後者が当てはまるのに前者を約束することは信頼を損なう。

ICANN の ODP 調査は自己レビューの問題を示している

ICANN の2024年 Operational Design Phase（ODP）協議調査は、完了した ODP プロセスから教訓を得ようとした。その告知によれば、調査は、そのプロセスが理事会の決定に必要な情報を提供したか、アウトリーチは十分だったか、全体的な満足度について質問し、結果を他のデータと組み合わせて今後の処理に活かすとしていた。

これらは正当な改善質問である。それらはまた、機関の枠内から始まっている。つまり、ODP の目標、アウトリーチ、満足度である。より深い問題が理事会の権限、課題の選択、または政策と運用分析の関係にあると考える回答者は、レビューの枠組みを再設定するためのオープンな経路を必要とするかもしれない。

告知だけでは、各項目を誰が設計したか、母集団がどのように標本抽出されたか、代替案がどのように事前テストされたかは確立されない。それらの詳細は、パーセンテージがコミュニティの判断の証拠として使われる前に、最終的な方法に含まれるべきである。

教訓は、ICANN が調査を避けるべきだということではない。制度的なメカニズムに関する協議には、そのメカニズムの前提に挑戦できる質問が必要だということである。

最初の質問が、何が議論可能かを回答者に教える

質問の順序は文脈を作り出す。成功したサービスについての冒頭の連続質問は、その後の満足度評価に影響を与えうる。組織の成果の一覧は、回答者が説明責任を評価する前に、その組織に固定観念を与えかねない。冒頭での人口統計的質問は、アイデンティティへの懸念を高め、離脱を増やすかもしれない。

OECD の2025年の主観的幸福に関するガイダンスは、質問の配置や先行する感情的質問が回答に影響を与えうることを指摘し、慎重な順序付けを推奨している。インターネットガバナンス調査は異なる構成概念を測定するが、一般的なメカニズムは適用される。すなわち、前の項目が後の項目の解釈を形作るのである。

導入文、ヘルプボックス、分岐、終了ページを含め、完全な調査票を順に公開すること。回答者の経験なしでの結果の表は不完全な証拠である。

事前テストでは多様な参加者を用い、各項目が何を意味すると思ったかを尋ねるべきだ。リソースが許せば、ランダム化した順序や分割標本で重要な効果をテストできる。以前のサイクルからの変更点は、傾向比較の前に明示すべきである。

同意尺度は黙従を招く

「私は、その機関が効果的にコミュニケーションしていることに同意する」という質問は、回答者に、機関が提供した命題への反応を求める。一部の人々は内容にかかわらず同意する傾向があり、特に依頼者が顕著であるか、その陳述が社会的に承認されているように聞こえる場合にそうである。

OECD の質問票ガイダンスは、黙従や認知的負荷を含む、同意フレーミングに関する懸念に言及し、適切な場合には新規項目に対してより直接的で情報価値の高い回答形式を推奨している。代わりに、頻度、具体的な経験、観察された結果について尋ねる。例えば、期限前に通知をどれだけの頻度で受け取ったか、あるいは回答が提起された問題に対処したか、などである。

バランスの取れた文言は助けになるが、フレーミングを排除するわけではない。肯定的項目と否定的項目のペアは回答者を混乱させ、方法効果をもたらしうる。観察可能な出来事に結びついたシンプルな質問の方が強力である。

比較可能性のために同意尺度が維持される場合、その限界を報告し、「同意する」と「強く同意する」を合わせて無条件の委任に仕立て上げることを避けるべきだ。

回答選択肢は中庸を作り出せる

クローズドなカテゴリは分析を効率的にするが、可視的な政策空間も定義する。ある質問は、「現行プロセスを維持」「小さな変更を加える」「より多くのガイダンスを提供する」といった選択肢を提供する一方で、代替や廃止を除外するかもしれない。ほとんどの回答者は、漸進的な改革を好むように見えるだろう。なぜなら、漸進的な選択肢しか存在しないからである。

重要な項目にはすべて、可能であれば「その他」や自由説明の経路が必要であり、概念的に妥当であれば「わからない」「該当なし」も必要である。これらのカテゴリを反対や無回答に統合すべきではない。

事前テストでは、回答者が自分の実際の立場を見つけられるかどうかを尋ねるべきである。レビュアーは自由回答を独立してコード化し、アイデンティティを公開することなく、コード化方法、例、不一致率を公開すべきだ。

調査票の開発記録には、提案され、拒否された選択肢を列挙すべきである。これは、機関が不快だがもっともらしい回答を削除したかどうかを明らかにする。

強制選択は条件付きの立場を隠しうる

ガバナンスの選好はしばしば条件付きである。すなわち、上訴制度があれば政策を支持する、現在の料金では反対する、検証済みのオペレーターに限って受け入れる、といった具合だ。単一の「はい／いいえ」項目はこれらの条件を消去する。

条件が重要な場合は、フォローアップ質問、シナリオ選択、自由説明を用いる。離脱を増やす過度な複雑さは避ける。認知的インタビューによって、意味を保持するために必要な最小限の構造を特定できる。

報告書は、条件付きの支持を、条件なしの支持として再コード化すべきではない。機関がその条件を実装できない場合、その回答は別のカテゴリに属する。

条件付き分析は、参加者が不平等な影響に直面する場合に特に重要である。大規模会員と小規模オペレーターの双方が「支持」を選ぶかもしれないが、それは異なる閾値とリスクに基づいている。

「わからない」はその機関に関する証拠である

設計者は時に「わからない」を削除する。回答者が容易にそれを選びすぎるかもしれないからだ。しかし、制度的調査では、知識の不足は、不十分な透明性、理解しにくい言語、またはプロセスとの限られた接触を明らかにしうる。評価を強制することは情報を捏造する。

「わからない」を結果として報告し、安全な集計の下で、役割、在籍期間、言語にわたる分布を調べること。高い割合は、質問が回答者の持たない知識を前提としていることを示すかもしれない。

「意見なし」「情報不足」「該当なし」、および拒否を、その違いが重要な場合には区別すること。あまりに多くのカテゴリは利用者に負担をかけるため、テストが必要である。

機関は不確実性を満足と解釈したり、説明なく見出しから除外したりすべきではない。

自由記述はコーディング中に中和されうる

自由記述は回答者が欠けている問題を導入することを可能にする。その影響力は、分析者がどのようにコード化し、要約し、引用するかに依存する。「コミュニケーション」のような広範なカテゴリは、権限、差別、救済措置に関する批判を吸収し、構造的な懸念を運用的なものに見せかけることがある。

反復的に開発された、公開されたコーディングフレームを用いること。少なくとも2名の分析者が標本をコード化し、一致率を報告すること。稀であっても実質的に重要な少数派のテーマを保持すること。頻度だけがリスクの尺度ではない。

引用は、洗練や中庸のためだけに選ばれるべきではない。墨消しを説明し、識別可能な詳細が残る場合は同意を得ること。人々を暴露する可能性がある場合は、生の自由記述を公開しないこと。

独立したレビュアーは、依頼者の要約をテストするのに十分な期間、元の回答へのアクセスを保持すべきである。機関は非識別化された抜粋とテーマの件数を受け取ることができる。

サンプリングは誰を見つけられるかから始まる

会員名簿には、運用上の意思決定者ではなく、請求担当者が含まれているかもしれない。会議名簿は、参加する時間と資金のある人々を過大に代表する。公開リンクは、関与度の高い支持者や批判者を引き付ける。それぞれの枠組みは他の人々を排除する。

連絡先リストを選ぶ前に、目標母集団を定義すること。会員の説明責任のためには、規模と地域にわたって権限のある運用上の連絡先を標本抽出すること。公共的影響のためには、現在の会員だけでは不十分である。参加者の経験のためには、出席をやめた人々を含めること。

オープンなコミュニティでは、確率サンプリングが常に可能とは限らない。その場合、報告書は母集団推定を避け、調査を回答者の証拠として記述すべきである。重み付けは、あるグループを完全に除外した枠組みを修復できない。

募集チャネル、リマインダーのタイミング、言語は、誰が回答するかに影響する。それらを公開すること。機関の通常のチャネルを通じてのみ配布された調査は、それらのチャネルから離脱した人々を測定できない。

自己選択はあらゆるパーセンテージの意味を変える

強い経験を持つ人々はより高い割合で回答するかもしれない。関与度の高い常連は調査を完了する義務を感じるかもしれないが、多忙なオペレーターはそれを無視する。バイアスの方向は回答数だけからは予測できない。

回答者の既知の特性（地域、会員層、組織タイプ、在籍期間、会議参加）を、プライバシー安全なカテゴリを用いて標本抽出枠と比較すること。比較が不可能な場合はそれを報告すること。

倫理的かつ実行可能な場合には、より短い調査票またはインタビューを用いて、少数の無回答者を追跡調査すること。違いは見出しの推定が頑健かどうかを示しうる。低回答への対処に関する OECD のガイダンスは、設計、追跡、目的の明確な伝達を強調している。

何千人も参加したからといって、公開協議を代表的と呼んではならない。大規模な自己選択標本は、自らの回答を正確に推定できる一方で、系統的に代表的でないままである。

1つの組織が何度も発言できる

インターネットガバナンス調査は、個人、組織、またはその両方を招待することがある。大企業の従業員10人が回答し、小規模ネットワークから1人が回答した場合、個人レベルの合計は組織の分布ではなく、人員配置を反映するかもしれない。

実地調査の前に単位を決定すること。個人の経験が主題である場合、複数の従業員による回答は有効だが、所属の集中を報告すべきである。会員の優先順位が主題である場合、権限のある組織回答を用いるか、組織レベルと個人レベルの見解を別々に分析すること。

開示とプライバシー保護なしに、単に名前や電子メールで人々の重複を排除することは避けること。共有ドメインは調整された回答を証明しない。匿名調査は設計上、重複排除を困難にする。

報告書は、「回答者」「組織」「会員」「コミュニティ」の間を決して行き来すべきではない。各名詞は異なる分母を帯びている。

重み付けは明らかにすることも隠すこともできる

重みは、包含確率と母集団合計が信頼できる場合に、既知の標本差を修正できる。また、少数の回答に巨大な影響力を持たせたり、枠組みによって裏付けられていない代表性の外観を作り出したりすることもできる。

重み付け前の件数、重み付け後の推定値、重みの構築、範囲、感度分析を公開すること。正当性のある極端な重みに上限を設けること。もっともらしい代替案の下で結論が変わるかどうかを示すこと。

機関が、階層やリソース保有量にかかわらず、すべての会員組織を等しく数えるべきだと決定するならば、それは単なる統計ではなく、ガバナンスの選択である。それを明言すること。利用者影響分析には別の重み付けモデルが必要かもしれない。

普遍的な分母がすべての質問を解決するわけではない。単一の「コミュニティの見解」よりも、別々の分析の方が正直である。

翻訳は測定の一部である

文字通りに翻訳された質問は、異なる構成概念を測定するかもしれない。満足、信頼、説明責任、代表といった言葉は、言語が異なると異なる制度的意味を持つ。不十分な翻訳は体系的な誤差を生み出す。単に不便なだけではない。

順翻訳、独立したレビュー、調整、目標言語の回答者によるテストを用いること。OECD のガイダンスは、意図された構成概念を捕捉すること、主観的尺度に対する頑健な翻訳と逆翻訳を強調している。ガバナンスの調査票にも同様の注意が必要である。

言語、レビュー方法、リリース時期、項目レベルの回答パターンを公開すること。後に公開されたバージョンは募集期間が短くなる。英語のみの招待は、翻訳されたフォームの使用を抑制しうる。

国から希望言語を推測しないこと。回答者に選択させ、その言語で自由記述に回答できる能力を保持すること。分析は双方向に翻訳しなければならず、意思決定者が内容を理解できるようにする必要がある。

アクセシビリティとモードが誰が回答できるかを決定する

オンラインフォームは、支援技術、低帯域幅、モバイルアクセスのみ、または制限されたネットワークを使用する人々を排除する可能性がある。長いグリッドやドラッグ操作は一般的な障壁である。電話やインタビューのオプションはアクセスを改善できるが、モード効果をもたらす。

キーボードナビゲーション、スクリーンリーダー、コントラスト、モバイルレイアウト、保存と再開、帯域幅、所要時間をテストすること。設計者の最速実行ではなく、テストに基づいた推定完了時間を公開すること。

複数のモードが使用される場合、可能な限り文言と回答形式を保持し、モードを報告すること。OECD のガイダンスは、モード効果が結果に影響を与えうるため、可能であれば推定し開示すべきだと指摘している。

代替モードは機密性を保持しなければならない。回答者は、機関に雇用されたインタビュアーに対しては、独立したフォームに対するのとは異なる回答をする可能性がある。

調査疲れはランダムな欠席ではない

機関は活動的な参加者に繰り返しフィードバックを求める。同じボランティアが、協議、会議調査、戦略調査、プログラム評価を受け取る。雇用主のサポートが少ない人々が最初に離脱するため、後の調査は無報酬のガバナンス作業を吸収できる人々からしか聞けなくなる。

年間の協議負荷を公開すること。すなわち、依頼の数、推定完了時間、重複、タイミングである。同意を得た上で、調査票を調整し、情報を再利用すること。適切な場合には、集中的な定性参加に対して支払いやその他のサポートを行うこと。

開始数、中断ポイント、セクションごとの所要時間を追跡すること。最後の自由記述の前にある、組織の優先順位に関する長いブロックは、最も不満な人々がレビューの枠組みを再設定できる場所に到達できないことを確実にしうる。

未完了は汚れたデータとして破棄するのではなく、プロセスの証拠として分析されるべきである。

トレンドラインには安定した質問が必要である

繰り返しの調査は、構成概念、文言、回答尺度、母集団、モード、タイミングが十分に比較可能である場合にのみ、変化を示すことができる。質の悪い質問を改善することが必要かもしれないが、断絶を明示しなければならない。

主要な項目を変更する際には、並行テストを用いること。可能であれば、移行標本について新旧バージョンを報告すること。ラベルが同じままであるというだけで、結果を1本の線に継ぎ接ぎしてはならない。

制度的な出来事がタイミングに影響を与えうる。論争や成功した会議の後に実施された調査は、静かな期間に実施されたものと直接比較することはできない。都合の悪い結果を説明し去ることなく、文脈を記録すること。

トレンド報告書は、信頼性と構成の変化を表示すべきである。安定した平均値は、会員層や地域間の大きな変化を隠しうる。

満足は正当性ではない

サービス満足度は、回答者がやり取りや結果を気に入ったかどうかを問う。正当性は、その機関が説明責任のあるルールの下で権限を行使する資格があるかどうかを問う。回答者は、迅速なサービスに満足しながら統治構造に反対することもあれば、正当なプロセスで達せられた決定に不満を持つこともありうる。

満足度のパーセンテージを委任の証拠として用いてはならない。通知、発言、応答、レビュー、公平性、権限について別個の質問をすること。可能な限り、観察された経験に結びつけること。

顧客向けの言葉遣いは会員ガバナンスを歪めうる。会員は、投票権、監視権、集団的権利を持つ場合、単なる消費者ではない。下流で影響を受ける利用者は、全く顧客ではないかもしれない。

報告書は、運用パフォーマンス、参加者の経験、組織の説明責任の区別を保持すべきである。

協議は国民投票ではない

公開調査はインプットを収集するものであり、通常は機関を拘束しない。多数派を「コミュニティの決定」と呼ぶことは、統治規則が定義された有権者による投票としていない限り、調査票の機能を過大評価している。

収集の前に決定ルールを述べること。結果はスタッフに情報を提供するのか、勧告を作成するのか、レビューを引き起こすのか、それとも結果を決定するのか。それらを読んだ後、誰が決定するのか。少数派や専門知識に基づく懸念はどのように扱われるのか。

大規模な多数派は、無効な標本を治療することも、機関の権限外の行動を正当化することもできない。少数派は、対応を必要とする安全保障、権利、実装上のリスクを特定するかもしれない。

報告書は、より強い推論が正当化されない限り、「この項目の回答者のうち」と述べるべきである。正確さは、協議が借用された権威になることから守る。

独立した分析には保護されたデータへのアクセスが必要である

機関が要約表しか提供しない場合、外部レビュアーは調査結果を検証できない。安全な条件下で、非識別化された回答者レベルのデータ、コードブック、実地調査記録、翻訳ノート、重み付けの決定へのアクセスが必要である。

レビュアーは見出しの集計表を再現し、欠損を検査し、代替のコーディングをテストし、安全な場合にサブグループパターンを調べるべきである。再識別を試みたり、小さなセルを公開したりしてはならない。

理想的には、外部調査機関が識別データを保持し、機関には保護された出力のみを提供する。識別情報が APNIC に提供されないという APNIC の明示された取り決めは、この分離を示している。

再識別リスクが低い場合、完全に匿名化されたデータの公開は精査を支援できる。そうでなければ、合成例、集計表、資格のあるレビュアーのためのアクセス手順を公開する。

報告書への依頼者のコメントには可視的な境界が必要である

機関は事実の記述をレビューし、機密情報や法的リスクのある資料にフラグを立てるべきである。評判を守るために解釈を書き換えるべきではない。最終報告書には、別途、経営陣の回答を含めることができる。

少なくとも独立した監視のために、実質的な依頼者の要求とレビュアーの決定を示す変更ログを維持すること。契約条件は、定義された事実確認期間を超えて公開を遅らせることを防ぐべきである。

機関が所見に異議を唱える場合、証拠とともに両方の立場を公開すること。読者は不一致を評価できる。単一の声へと静かに交渉することは、独立したレビューを無効にする。

レビュアーは自らの名の下に結論を所有すべきである。機関はそれに応じて取る行動を所有する。

公開には調査票全体と方法が必要である

回答者が体験したとおりの質問票、招待文、実施日、言語、目標母集団、枠組み、リクルート、リマインダー、インセンティブ、完了数と項目数、重み付け、コーディング、プライバシールール、制限を公開すること。すべての資料をアーカイブすること。

見出しの図表は方法に直接リンクすべきである。パーセンテージには件数と分母が必要である。抑制されたセルには印を付けること。提言に使用されたものだけでなく、都合の悪い結果や結論の出なかった結果を生んだ項目も報告すること。

すべての提言を裏付ける項目と定性的証拠とを結びつける表を公開すること。これにより、依頼者が矛盾する回答を無視して都合の良い数字を一つ選ぶことを防ぐ。

ここでもアクセシビリティが重要である。調査結果は、収集に使用された言語と形式で利用可能であるべきだ。

異論は集計を生き延びなければならない

平均スコアは二極化を隠す可能性がある。平均3は普遍的な中立を表すかもしれないし、両極端にある等しいグループを表すかもしれない。平均だけでなく分布を公開し、倫理的な場合にはサブグループの違いを示すこと。

少数派の懸念は、全体のパーセンテージを変えない場合でも要約されるべきである。安全保障、権利、説明責任においては、頻度よりも重大性が重要になりうる。報告書は、低頻度の問題を引き上げる基準を説明すべきである。

あらゆる少数派の立場を「外れ値」と決めつけないこと。標本抽出枠が影響を受けるグループを系統的に過少に数えていなかったかを調査すること。小規模オペレーターのカテゴリは、数値的には少数派だが、運用上は不可欠かもしれない。

回答者は、経営陣が提案された救済策を拒否する場合でも、報告書の中で自分の懸念を認識できるようにすべきである。

調査は公的な回答記録につながらなければならない

回答のない協議はコミュニティの時間を消費し、不信を悪化させうる。機関は、主要な所見、決定、理由、担当者、目標日、その後の状況を公表すべきである。拒否された提言には理由が必要である。

APNIC が調査結果とともに執行協議会の回答を公開する慣行は、有用な説明責任層である。その回答は、単なる感謝の表明として残されるのではなく、後の計画や予算に対して評価できる。

行動は、完了をテストできないほど漠然と定義されるべきではない。「コミュニケーションの改善」には、対象者、変更、尺度、日付が必要である。繰り返される所見は統治機関に上程されるべきである。

次の調査は、同じ人々に再び回答を求める前に、前回の調査後に何が起こったかを報告すべきである。

協議調査のための独立性マトリックス

範囲、調査票、標本、実地調査、データ保管、分析、公開、回答の各段階について、誰が提案し、決定し、レビューし、拒否権を持つかを特定すること。利益相反と依頼者の関与を開示すること。

強固な独立性には、コミュニティ監視グループが大まかな質問を設定し、外部の方法論チームが設計とテストを行い、独立した実地調査提供者が識別情報を保持し、分析者が公開権を持ち、別途の機関回答があるといったことが含まれうる。

すべての定例調査がこのアーキテクチャを必要とするわけではない。利害が高く、調査が正当性、リーダーシップ、または争いのあるパフォーマンスの評価に近づくほど、分離は強固であるべきだ。

このマトリックスは、機関が独立性をオール・オア・ナッシングとして提示することを防ぐ。読者はどこに管理が残っているかを見て、それに応じて主張を判断できる。

公開されるすべての結果に対する分母のセット

既知の対象母集団、標本抽出単位、配信可能な招待数、測定可能なら開封された招待数、開始数、完了数、有効な項目回答を示すこと。公開リンクについては、ユニークな有効回答を報告し、招待率と回答率は計算できないと明言すること。

組織レベルの主張については、ユニークな組織と複数の個人回答の集中を示すこと。会員に関する主張については、会員層と地域を比較すること。公共に関する主張については、その枠組みが影響を受ける非会員にどのように届いているかを説明すること、さもなければその主張を避けること。

重み付けなしと重み付けありの件数、欠損カテゴリ、信頼区間または不確実性を表示すること。名詞（回答者、会員、組織、出席者、利用者）なしにパーセンテージを決して提示しないこと。

この規律だけでも、多くの誇張された協議の見出しを一掃するだろう。

独立したレビュー調査はどのようになるか

統治機関が開示された基準を通じてレビュアーを委託し、多元的な監視グループが大まかな評価質問の定義を支援する。レビュアーは調査票の設計、テスト、サンプリング、実地調査、保護データ、分析、公開を管理する。機関は事実資料を提供するが、結論を抑圧することはできない。

調査は、現在および過去の参加者、関連会員、影響を受けるグループに、定義された枠組みを通じて到達する。多言語かつアクセシブルなモードを提供し、理解度をテストし、前提へのオープンな挑戦を保持し、無回答を記録する。完全な調査票と方法が公開される。

結果は、件数、分母、分布、不確実性、異論、限界を示す。保護データは機関の管理下に置かれない。独立した分析者が集計表を再現する。経営陣は行動、理由、日付を添えて別途回答する。

いかなる設計も判断を排除しない。それは判断を可視化し、議論可能にし、分散させるのである。

パイロット調査は調査票を無効にできなければならない

パイロット調査は、ボタンが機能することを確認する単なる技術的リハーサルではない。回答者が構成概念を理解しているか、欠けている選択肢がないか、標本枠が意図した人々に届いているか、依頼者の仮定が証拠との接触に耐えるかどうかをテストすべきである。

異なる役割、言語、在籍期間、機関への精通度合いからパイロット参加者を募集すること。各質問を自分の言葉で説明してもらい、与えたかったが与えられなかった回答を特定してもらうこと。機関に批判的な人々や関与を絶った人々を含めること。

レビュアーは、たとえリーダーシップが見出しのためにそれを望んでいたとしても、パイロット後に項目を削除または書き換えることができなければならない。重要な変更は、別のテストを引き起こすべきである。参加者を暴露することなく、パイロット方法と主要な改訂の要約を公開すること。

失敗したパイロットは成功したコントロールである。それは、意図した概念を決して捕捉しなかった測定の自信に満ちた公開を防ぐ。

インセンティブは参加を変え、開示が必要である

賞品、謝礼、寄付は回答を改善できる。特に調査が相当な時間を要する場合にそうである。それらはまた、関与の低い提出を引き付けたり、経済圏を超えて異なる参加率を生み出したりしうる。

招待状と報告書において、インセンティブ、資格、選定、資金源を明記すること。賞品管理の連絡先詳細を回答から分離すること。依頼者は回答者のアイデンティティを受け取ったり、当選者を選んだりすべきではない。

インセンティブが提供されない場合、機関が無報酬の時間に依存していることを認めること。会員の規模と役割にわたる負荷を比較すること。60分のレビューは政策部門にとっては些細かもしれないが、小規模オペレーターにとっては高コストである。

感度分析は、早期回答者と後期回答者、またはインセンティブ付きグループとインセンティブなしグループを比較できる。目標はあらゆる効果を除去することではなく、参加メカニズムを可視化することである。

ダッシュボードは精度を過大に示しうる

インタラクティブなダッシュボードは、利用者が地域、役割、組織タイプによって結果をフィルタリングするよう促す。それらはアクセスを改善するが、小さなセル、不安定なパーセンテージ、正確な母集団知識の錯覚を生み出しうる。

最小セルサイズを設定し、件数と不確実性を表示し、識別を危険にさらす組み合わせを防ぐこと。フィルターは黙ってパーセンテージの分母を置き換えるべきではない。すべてのビューには明確な名詞と分母が必要である。

ダッシュボードの初期設定は重要である。全体的な満足度から始めると、たとえ説明責任の所見がより重要であっても、その尺度が中心的であるように見せてしまう。依頼者の好みではなく、独立した報告書が提示の階層を決定すべきである。

ソフトウェアの変更後も結果が監査可能であるように、静的な表とデータ定義をアーカイブすること。ビジュアルインターフェースは方法の代替ではない。

調査は観察された行動と三角測量されるべきである

回答者は通知が適切だと報告するかもしれないが、記録は翻訳された文書が期限近くに届いたことを示すかもしれない。会議を包摂的だと評価する一方で、発言データが集中を示すかもしれない。認識と行動は異なる質問に答える。

調査を、プライバシー保護の下で収集された出席、回答、決定、不服申立て、サービス、コミュニケーションの記録と組み合わせること。インタビューと文書レビューを用いて相違を説明すること。単に運用が異なるという理由で認識を退けてはならない。期待と信頼もまた結果である。

三角測量は、自己報告バイアスと管理上の数字への経営陣の過信の両方から保護する。それは問題が平均を動かすには小さすぎるグループに集中していることを示しうる。

最終報告書は、どの主張が調査回答、観察記録、または推論に基づいているかを述べるべきである。強固なガバナンスは、一つ一つの結論を運ぶ単一の調査票からではなく、収束する証拠から生まれる。

常設の調査票登録簿が選択的記憶を防ぐ

機関は、協議と調査の公開登録簿を維持すべきである。それには、タイトル、目的、依頼者、レビュアー、目標母集団、調査票、言語、実施日、回答数、報告書、経営陣の回答、その後の措置が含まれる。撤回または放棄された試みは理由とともに可視的なままにすべきである。

登録簿により、コミュニティは負荷、繰り返される質問、方法論的変更を見ることができる。また、好意的な調査が永続的に目立つ一方で、ウェブサイトの再設計後に批判的所見が見つけにくくなるのを防ぐ。

各項目には安定した識別子が必要であり、文言の変更を超えて繰り返しの測定を追跡できるようにする。訂正は以前のバージョンを保持すべきである。保護された回答を公開できない場合でも、データの保存と破棄の日付は記録に属する。

監視機関は、登録簿を用いて独立したレビューの日程を組み、約束された措置が発生したかどうかを検証できる。その時々のスタッフの記憶ではなく、監査可能な歴史に基づいて組織的な学習が行われる。

結論：回答を信頼する前に質問を監査せよ

協議調査はインターネットガバナンスを改善できる。APNIC の独立した調査の伝統は、外部の実地調査、匿名性、広範な地域関与、公開された執行協議会回答の価値を示している。ICANN の的を絞ったメカニズムレビューは実践的な教訓を集められる。調査は、公式会合が見逃す経験を発見する効率的な方法である。

その権威は容易に過大評価される。匿名回答はスタッフが書いた質問を中立化しない。大きな回答数は母集団を明らかにしない。図表は、省略された選択肢や順序効果、アクセス不能な言語、無回答、依頼者による編集を示せない。満足度は委任の代わりにはなりえない。

一般の人々は、誰がレビューの枠組みを設定したか、誰が質問を追加できたか、誰が対象だったか、誰に到達したか、各回答者が何を見たか、誰がアイデンティティを保持したか、回答がどのようにコード化されたか、どの異論が生き残ったか、誰が公開を変更できたか、という全連鎖を検査できるべきである。あらゆるパーセンテージには名前の付いた分母が必要である。

審査対象の機関は調査に支払い、知識を提供するかもしれない。しかし、それによって失敗しうる唯一の質問の、見えざる作者であってはならない。まず質問を監査し、それからその回答が何を支持しうるかを決定せよ。

この監査は、結果が理事会文書や公開スピーチに届く前に、日常的に行われるべきである。レビュアーは、各見出しについて母集団、枠組み、回答経路、分母、限界を示す短い主張表を添付できる。コミュニケーションスタッフは「回答者」を「会員」「コミュニティ」「利用者」に格上げすべきではない。意思決定者は、省略されたグループと未解決の異論をパーセンテージの横に見るべきである。これらの管理は、誤った母集団の自信に満ちた測定に基づいて行動するのに比べて、ほとんどコストがかからない。

機関が代表的な設計を確立できない場合でも、なお学ぶことができる。調査結果を、境界のある回答者グループからの構造化された証言として記述し、観察記録と組み合わせ、挑戦を招くべきである。正直な限界は協議を無用にしない。それは、有用な傾聴の試みが、機関自身のパフォーマンスに関する無許可の国民投票になるのを防ぐ。

最終的な防護措置は組織の記憶である。すなわち、調査票、方法、争いのある解釈、対応措置を保存し、後のレビューが教訓が学ばれたかどうかをテストできるようにすることである。調査は単なるパーセンテージ以上のものを残すべきである。それは、機関がどのように耳を傾け、何を知り得なかったか、そしてその不確実性が決定をどのように形作ったかという、検査可能な記録を残すべきである。

出典