요약

  • 8월 19일 발표된 외부 보고서에 따르면 AFRINIC은 서비스, 소통 방식, 생태계 내 역할 및 향후 우선순위에 대한 설문조사를 시작했으며, 참여자에게 설문을 공유할 것을 권장하고 더 많은 응답이 더 대표적인 그림을 만들 것이라고 밝혔습니다.
  • 더 많은 답변은 피드백의 폭을 넓힐 수 있습니다. 그러나 그것만으로는 어떤 회원 조직이나 다른 이해관계자가 표본에 포함되었는지, 누가 자발적으로 참여했는지, 응답이 고유한지, 불균등한 참여가 어떻게 처리되었는지 보여줄 수 없습니다.
  • 결과가 공개될 때 AFRINIC은 간결한 방법론 증빙을 발표해야 합니다: 분리된 목표 모집단, 모집 경로, 초대 또는 도달 분모, 유효한 비가중 응답, 제외 기준, 가중치, 하위그룹 기준, 한계 및 날짜가 명시된 경영진 대응.

설문 시작은 의견 수집의 약속일 뿐 완성된 위임이 아니다

유용한 사실은 소박합니다. AFRINIC은 회원과 이해관계자에게 무엇이 작동하고, 무엇이 개선되어야 하며, 무엇이 우선순위를 받아야 하는지 묻고 있습니다. 외부 발표 보고서에 따르면 초대장을 동료 및 관련 네트워크를 통해 공유하기를 원합니다. 이는 티켓, 회의, 선거에서 놓칠 수 있는 경험을 드러낼 수 있습니다.

검토된 증거 중 어느 것도 이 설문이 투표라고 말하지 않습니다. 결과가 계산되었거나 우선순위가 채택되었다는 표시도 없습니다. 현재 상태는 초대장입니다. 그 가치는 아직 입증되지 않은 대표성 지위가 아니라 수집할 수 있는 관찰에 있습니다.

따라서 응답량에 관한 표현은 신중해야 합니다. 제대로 기술된 설계에서 더 큰 수치는 무작위 변동을 줄일 수 있습니다. 그러나 같은 고참여 집단에서 더 많은 사람을 추가할 수도 있습니다. 표집 또는 도달 틀이 없으면 독자는 어느 쪽인지 판단할 수 없습니다.

하나의 양식에 여러 모집단이 담길 수 있다

회원 및 이해관계자라는 표현은 단일 대상처럼 들립니다. 그러나 최소 두 종류의 단위입니다.

회원 조직은 승인된 대표자 한 명, 여러 직원 또는 아무도 통해서 답할 수 있습니다. 네트워크 엔지니어, 컨설턴트, 시민사회 참여자, 연구자 또는 기타 관심 개인은 개인 자격으로 답할 수 있습니다. 이러한 응답은 모두 유용할 수 있지만, 동일한 분모를 공유하지 않으므로 암묵적으로 서로 바꿔 쓸 수 없습니다.

따라서 첫 공개 표는 의견 앞에 단위를 구분해야 합니다. 관련 틀 안에 몇 개의 회원 조직이 있었습니까? 승인 또는 운영 연락처에 어떻게 도달했습니까? 분석이 조직, 사람 또는 둘 다를 세었습니까? 어떤 다른 이해관계자 집단을 의도적으로 모색했습니까? 한 조직이 여러 개인 응답을 제공했다면, 별도의 경험으로 유지되었는지, 하나의 조직 관찰로 통합되었는지, 아니면 다른 방식으로 가중되었습니까?

이는 개방성에 대한 반대가 아닙니다. 개방성이 무엇을 만들어냈는지 이해하기 위해 필요한 정보입니다.

방법론 증빙은 결과 옆에 있어야 한다

AAPOR 공개 기준은 실용적인 체크리스트를 제공합니다. 공개된 설문 결과에 대해 연구 대상 모집단, 표본 생성 및 모집 방법, 조사 방식·언어·수집 기간, 표본 크기, 가중치, 품질 절차, 인정된 한계를 제시할 것을 요구합니다. 또한 확률 표집과 비확률 모집을 구분하고 해당되는 경우 중복, 봇 및 기타 유효성 통제를 기술하도록 합니다.

AFRINIC이 미국 협회의 규칙집을 법으로 채택할 필요는 없습니다. 질문이 잘 이전되므로 공개 논리를 사용할 수 있습니다. 모집단, 기준, 제외 사항을 모르면 백분율을 평가할 수 없습니다.

AFRINIC의 간결한 증빙은 다섯 개의 연결된 블록을 사용할 수 있습니다:

  1. 모집단:회원 조직 및 각각 개별적으로 정의된 분석 대상 이해관계자 모집단.
  2. 도달:초대 목록 또는 모집 경로, 언어 가용성, 수집 기간 및 커버리지 공백.
  3. 유효 기준:완전, 부분, 중복, 부적격 및 제외된 응답과 응답 단위의 명시.
  4. 조정:비가중 및 가중 기준, 사용된 변수와 벤치마크, 하위그룹 최소치 및 정밀도 모델.
  5. 활용:어떤 결과가 어떤 제안된 조치에 반영되었는지, 대응의 소유자가 누구인지, 그 조치가 수용, 보류 또는 거부되었는지.

증빙은 집계 형태를 유지할 수 있습니다. 응답자, 개인 의견 또는 회원 연락처 목록을 노출할 필요가 없습니다. 프라이버시는 사람을 보호하며, 방법의 소멸을 요구하지 않습니다.

큰 수치는 정확하게 틀릴 수 있다

Pew Research Center의온라인 옵트인 표본 가중치 연구는 AFRINIC의 측정이 아닙니다. 미국 표본, 다른 질문, 다른 공급자를 검토했습니다. 그 관련성은 더 좁지만 중요합니다: 검토된 표본에서 인터뷰 수를 2,000에서 8,000으로 늘려도 정확도는 거의 개선되지 않았고 편향은 남았습니다. 더 많은 관찰은 여전히 틀릴 수 있는 결과 주변의 추정을 좁혔습니다.

이것이 AFRINIC 설문이 편향될 것이라는 증명은 아닙니다. 검토된 기록은 그 설계가 확률 기반인지, 자원봉사식인지, 회원 대상 전수식 도달인지, 혼합인지 확립하지 않습니다. Pew의 결과는 하나의 지름길만 무너뜨립니다: 응답 수만으로는대표적이라는 단어를 담보할 수 없습니다.

더 강한 발표는 문자 그대로의 라벨을 사용할 것입니다.유효 응답자의 42%는회원의 42%와 다릅니다.참여한 대부분의 네트워크 운영자는아프리카 인터넷 커뮤니티와 다릅니다. 정확성은 측정된 기준을 넘어 주제를 확대하지 않음에서 시작됩니다.

피드백은 대응이 추적 가능할 때 책임을 갖는다

설문의 실용적 가치는 차트에만 있지 않습니다. 결과에서 결정으로 이어지는 사슬에 있습니다.

응답자가 더 빠른 등록 서비스, 더 명확한 이전 절차 또는 다른 교육 우선순위를 요청한다고 가정하십시오. 결과 기록은 관련 기준과 경영진 처분을 보여야 합니다: 수용, 분석 중, 보류 또는 미채택; 이유; 소유자; 다음 날짜. 그렇지 않으면 기관은 편리할 때 설문을 인용하고 반대되는 결과를 처리 없이 두게 됩니다.

그 처분 대장은 AFRINIC도 보호합니다. 경청과 약속을 구분합니다. 폭넓은 지지를 받은 요청이 예산, 정책 또는 합법적 권한 밖일 수 있습니다. 더 작지만 운영적으로 심각한 결과는 조치가 필요할 수 있습니다. 방법 기록은 누가 말했는지 보여주고, 경영 기록은 기관이 무엇을 결정했는지 보여줍니다.

참여는 권위가 되기 전에 증거이다

Lu Heng의멀티 스테이크홀더 미라지는 올바른 경계를 제시합니다: 참여는 부재하는 당사자에 대한 승인이 되지 않고도 증거, 전문성, 경고, 반대가 될 수 있습니다. 이 동일한 구분이 설문을 덜 유용하게 만드는 것이 아니라 더 유용하게 만듭니다.

응답은 식별된 분석 집단의 관찰로 다루어져야 합니다. 서비스 결함, 우선순위, 익숙하지 않은 운영 비용을 드러낼 수 있습니다. 초대가 공개되었거나 응답함이 컸다는 이유로 대륙의 목소리가 되지는 않습니다.

AFRINIC은 이 격차를 사전에 닫을 수 있습니다. 설문지와 방법을 결과와 함께 공개하십시오. 분모와 누락된 집단을 명시하십시오. 원래 신원은 보호하십시오. 각 중요한 결과를 날짜가 있는 기관 대응에 연결하십시오. 그때 설문은 협의의 외견보다 강한 것, 즉 한계가 결론만큼 보이는 검사 가능한 증거 본체를 산출할 것입니다.

출처

  • CADE, AFRINIC 회원·이해관계자 설문조사 시작에 관한 외부 보고서
  • American Association for Public Opinion Research,Disclosure Standards
  • Pew Research Center,For Weighting Online Opt-In Samples, What Matters Most?
  • Lu Heng,The Multi-Stakeholder Mirage