摘要

  • 一篇8月19日发布的外部报道称,AFRINIC启动调查,询问其服务、沟通、生态角色和未来优先事项,同时鼓励参与者把链接转发给同事和相关网络。
  • 更多回复可以增加信息,却不能自动说明覆盖了多少成员机构、谁主动进入样本、同一机构的多份答卷如何计算,也不能显示哪些群体没有出现。
  • 结果发布时,AFRINIC应同步给出一张方法收据:分开定义的目标人群、触达渠道、未加权有效答卷、剔除项、加权规则、分组基数、局限,以及带日期的管理层回应。

先把“谁的意见”写完整

这项调查提出的问题本身很合理:哪些服务运转良好,哪里需要改进,未来资源应该先投向什么。支持工单只记录逐案问题,会议更容易吸引熟悉程序的人,选举又是在回答另一类问题。调查可以把散落在这些渠道之外的经验带进公共记录。

但现有证据只有邀请,没有结果。没有回复总数,没有百分比,也没有哪项优先事项已经因为调查而改变。现在最需要固定的不是结论,而是日后每个结论的主语。

“有效答卷中的多数”与“成员中的多数”不是同一句话;“参加调查的网络运营者”与“非洲互联网社群”也不是同一主体。把前者直接换成后者,会让一个测量结果承担它没有测量的范围。

一张表里可能混着两种以上的单位

“成员与利益相关方”听起来像一个整体,统计上却可能包含完全不同的单位。

成员是机构。一个机构可以指定一名代表,也可能有工程、管理和法务人员分别答题,或者完全没有参加。研究者、顾问、民间组织参与者和其他个人,也可能以自己的身份提交意见。这些回答都可以有价值,但不能在不说明规则的情况下共用一个分母。

因此,第一张表应该先写单位,而不是先写态度:主要分析是在数机构还是数个人?成员机构通过哪些联系人被触达?哪些其他群体被有意识地邀请?同一机构出现三份个人答卷时,是保留三种体验、合并成一个机构观察值,还是采用其他权重?部分填写、重复填写和资格不明的记录如何处理?

这些问题不要求公开任何姓名。隐私保护的是答题者;方法公开保护的是结论的可理解性。

结果旁边应当放一张方法收据

AAPOR披露标准提供了一套可操作的清单。公开调查结果时,应说明研究人群、样本生成和招募方式、收集模式与语言、日期、样本量、加权、质量控制和局限;还应区分概率与非概率方式,并在适用时说明重复、机器人或无效答卷的处理。

AFRINIC不必把美国专业协会的标准当成法律。真正值得采用的是其中的验证逻辑:读者不知道人口范围、基数和纳入规则,就无法解释百分比。

一张简洁的AFRINIC结果收据可以分成五块:

  1. 人群:成员机构与其他被分析群体分别定义;
  2. 触达:名单或传播渠道、语言、收集日期与已知覆盖缺口;
  3. 有效基数:完整、部分、重复、不符合资格和被剔除的答卷,以及统计单位;
  4. 调整:加权前后基数、所用变量和参照、分组发布下限及任何精度模型;
  5. 用途:每项重要发现对应的行动、责任人、理由和下一个日期。

这张表可以完全采用汇总数据。它不需要公开成员联系表、原始评论或个人身份。

样本变大,也可能只是更精确地偏离

Pew Research Center关于在线自愿样本加权的研究并没有测量AFRINIC。它研究的是美国人群、不同问题和不同供应商,不能拿来估算这项调查的偏差。

它能划出一条很重要的边界:在被测试的样本中,访谈量从2,000增加到8,000,准确性几乎没有改善,偏差仍然存在。数据更多可以让结果波动更小,却可能只是更紧密地围绕错误值。

选定证据没有说明AFRINIC采用概率抽样、公开自愿参与、面向全体成员的普查式触达,还是几种方式的组合;公告没有写出的核验措施也可能存在。因此,现在不能断言调查无效、存在偏差或缺乏代表性。可以确定的只是:总量本身不能替代方法。

反馈的终点不是图表,而是处置记录

调查真正的治理价值,在于一项发现能否被追踪到一项决定。

如果答题者希望缩短注册服务时间、澄清转移流程或改变培训重点,结果报告应当写明:采纳、分析中、推迟或不采纳;理由;负责人;下次检查日期。高频诉求可能超出预算或机构职权,少数运营者提出的问题也可能暴露严重的连续性风险。调查提供证据,不替代决策责任。

这样的处置表也保护AFRINIC。它把“听见”与“承诺”分开,并防止机构只引用方便的调查结果,把不方便的部分留在没有结局的报告里。

参与首先是证据,不是授权

Heng Lu在The Multi-Stakeholder Mirage中把参与界定为证据、专业意见、警告和反对,而不是对未参与者的授权。这条边界不会削弱调查,反而让它可以诚实地发挥作用。

AFRINIC可以把每份答卷视为来自已定义分析群体的一次观察,公开哪些人被覆盖、哪些人没有被覆盖,再把重要发现连接到可核验的机构回应。这样的报告不会轻易声称自己代表整个地区,却会留下更耐用的东西:表单关闭之后,成员、运营者和公众仍能复原结论从哪里来、又去了哪里。

来源

  • CADE:AFRINIC成员与利益相关方调查启动的外部报道
  • American Association for Public Opinion Research:Disclosure Standards
  • Pew Research Center:For Weighting Online Opt-In Samples, What Matters Most?
  • Heng Lu:The Multi-Stakeholder Mirage