要約

  • 8月19日付の外部報道によれば、AFRINICはサービス、対話、エコシステム内の役割、将来の優先課題を尋ねる調査を開始し、同僚や関係するネットワークへの共有を呼びかけた。
  • 回答が増えれば、集まる経験は豊かになり得る。しかし、何組織に届いたのか、誰が自ら参加したのか、一組織からの複数回答をどう扱うのか、誰が欠けたのかは、総数だけでは分からない。
  • 結果公表時には、対象集団、募集経路、未加重の有効回答、除外、重み付け、部分集団の基数、限界、日付付きの組織対応を一枚の方法票として添えるべきだ。

回答より先に、主語を決める

何がうまくいき、何を直し、何を優先すべきかを尋ねること自体には意味がある。サポート案件は個別事例を残す。会合には参加しやすい人が集まる。選挙は別の問いに答える。調査は、その間に落ちた運用経験を拾える。

今回確認できるのは調査の開始であり、結果ではない。回答数も比率も、調査を根拠とする決定もまだ示されていない。したがって、今決めるべきなのは結論ではなく、将来の結論に付ける主語である。

「有効回答者の多数」は「会員の多数」ではない。「参加したネットワーク運用者」は「アフリカのインターネット・コミュニティ」ではない。表現を大きくすれば、測っていない集団まで測ったように見えてしまう。

会員とステークホルダーでは、数える単位が違う

会員は組織である。一組織が一人を代表に選ぶ場合も、技術・経営・法務の各担当者が別々に答える場合も、まったく答えない場合もある。一方、研究者、コンサルタント、市民社会の参加者などは個人として意見を出し得る。

どの回答にも情報価値はある。しかし、組織と個人を説明なしに足せば、一つの分母にはならない。

方法説明は少なくとも次を答える必要がある。中心となる分析単位は組織か個人か。会員組織にはどの連絡経路で届いたか。意図的に求めた他の集団は何か。同じ組織の三人が回答したとき、三つの経験として残すのか、一組織にまとめるのか、別の調整をするのか。不完全・重複・資格不明の回答をどう処理したか。

氏名を公表する必要はない。回答者の秘密と計算方法の透明性は両立する。

結果の横に「方法票」を置く

AAPORの開示基準は、公開調査の読み方を具体化している。調査対象の集団、標本の作成と募集、収集方法と言語、期間、標本数、重み付け、品質管理、限界を明らかにし、確率方式と非確率方式を区別する。必要に応じて重複、ボット、無効回答への対処も示す。

これは米国の専門団体の基準であり、AFRINICへの法的義務を示すものではない。それでも、人口、基数、採否のルールがなければ比率を評価できないという原理は、そのまま使える。

AFRINICの方法票は、五つの欄で十分に短くできる。

  1. 対象：会員組織と、それ以外に分析する集団を分ける。
  2. 到達：招待リストまたは周知経路、言語、期間、既知の空白を示す。
  3. 有効基数：完了、途中、重複、対象外、除外の件数と、回答単位を示す。
  4. 調整：未加重・加重の基数、使用した変数と基準、部分集団の公表下限を示す。
  5. 利用：重要な所見ごとに、対応、責任者、理由、次の日付を示す。

この票は集計値だけで作れる。会員の連絡先や自由記述を公開する必要はない。

大きな標本が、選択の偏りを消すとは限らない

Pew Research Centerのオンライン任意参加標本の研究は、AFRINICを調べたものではない。米国の集団、別の設問、別の提供者を扱っており、今回の偏りを推計する材料にはならない。

ただし、人数だけで代表性を証明できないことは示している。検証した標本では、面接数を2,000から8,000に増やしても正確さはほとんど改善せず、偏りが残った。ばらつきが小さくなっても、誤った値の周囲に精密に集まることはある。

今回の公開記録からは、AFRINICの設計が確率抽出なのか、任意参加なのか、全会員への到達を目指す方式なのか、その組み合わせなのか確定できない。公表されていない検証措置が存在する可能性もある。従って、調査が無効、偏っている、代表性がないと断定する証拠はない。言えるのは、回答総数だけでは判断できないということだ。

調査は、組織の返答までつながって完成する

結果の価値は棒グラフの高さではなく、所見から決定まで追えるかどうかで決まる。

登録サービスの迅速化、移転手続の明確化、研修方針の変更などが求められたなら、AFRINICは各項目を、採用、検討中、延期、不採用に分け、理由、担当、次の確認日を示せる。多数意見でも予算や権限の外にある場合がある。少数の運用者だけが指摘した問題でも、重大な継続性リスクを持つ場合がある。

この処理表は、聞くことと約束することを分ける。調査を都合のよい所見だけ引用する道具にしないためにも必要だ。

参加はまず証拠であり、委任ではない

Heng LuのThe Multi-Stakeholder Mirageは、参加を知識、警告、異議、証拠として認めながら、不参加者を拘束する委任とは分ける。この境界は調査を弱めない。むしろ、観察できた範囲を誇張せずに使えるようにする。

AFRINICが対象と欠落を明示し、重要な所見を日付付きの組織対応へ結び付ければ、調査は「コミュニティの声」という大きな言葉より強い記録になる。フォームが閉じた後も、会員と運用者が結論の出発点と行き先を確認できるからだ。

出典

  • CADE、AFRINIC会員・ステークホルダー調査開始の外部報道
  • American Association for Public Opinion Research、Disclosure Standards
  • Pew Research Center、For Weighting Online Opt-In Samples, What Matters Most?
  • Heng Lu、The Multi-Stakeholder Mirage