Résumé

  • L’enquête 2025 a sollicité 52 660 adresses inscrites à des listes IETF, recueilli 1 716 retours et conservé 1 480 réponses valides, soit 2,81 %. Ce taux appelle des diagnostics ; il ne prouve à lui seul ni l’existence ni l’ampleur d’un biais.
  • Les auteurs projettent 4 460 à 7 136 contributeurs réguliers à partir de l’auto-classement des répondants, puis rapprochent cette fourchette de 4 457 adresses ayant effectivement envoyé un message en 2025. L’accord valide un ordre de grandeur borné, pas les attitudes des absents ni les autres groupes.
  • La transparence du rapport est une force : cadre de contact, suppressions, questions facultatives, changements d’échelle et recours à l’IA pour les verbatims sont indiqués. En revanche, le ±2,54 % ne couvre pas le défaut de couverture, l’auto-sélection, la formulation, les non-réponses ou le codage.
  • Une enquête peut orienter le travail de l’LLC et de l’IESG. Elle ne constitue ni un vote, ni un constat de consensus approximatif, ni le mandat des personnes silencieuses. Un reçu « cohorte–affirmation » maintiendrait chaque résultat dans sa portée réelle.

Le même rapport formule la réserve et l’oublie presque

Le rapport final expose d’abord la difficulté sans détour. La participation est volontaire ; les personnes se sélectionnent elles-mêmes ; les données qui permettraient un contrôle complet ne sont pas disponibles. Le risque de biais de sélection demeure donc. Cette réserve n’est pas un détail juridique placé en petits caractères. Elle définit le type de connaissance produit.

Le dispositif de diffusion était ample. Les abonnements aux listes actives ont été réunis, certains doublons repérables par l’usage du signe « + » ont été retirés, de même que les désabonnements antérieurs et les adresses connues comme injoignables. Une invitation a ainsi atteint un cadre de 52 660 adresses. Sur 1 716 retours, onze réponses manifestement invalides et 225 débuts vides, suspects ou inutilisables ont été écartés, laissant 1 480 observations valides.

Puis vient un contrôle externe. Parmi les répondants, 11,01 % se déclarent auteurs réguliers de messages. L’extrapolation donne une fourchette de 4 460 à 7 136. Une analyse distincte a compté 4 457 adresses ayant envoyé des messages aux listes pendant l’année. La proximité avec la borne basse est frappante. Le rapport en déduit que les participants réguliers sont raisonnablement représentés, puis parle d’un biais de sélection négligeable.

Le premier constat peut être conservé. Le second doit recevoir un complément d’objet. L’écart est négligeable entre ce décompte d’adresses émettrices et cette estimation particulière de la cohorte active. Rien dans la comparaison ne mesure le biais des jugements sur la gouvernance, l’ouverture, la vitesse du processus, les obstacles ou l’influence des employeurs. Une vérification réussie n’est pas une licence pour toutes les inférences voisines.

Une adresse est une unité de distribution

Le rapport prend soin de signaler deux défauts non corrigés. Une même personne peut utiliser plusieurs adresses selon les listes. Une adresse fonctionnelle ou un expandeur interne peut, inversement, desservir plusieurs personnes. Faute de données, le cadre de 52 660 n’est pas converti en population d’individus uniques.

Ce choix est raisonnable pour envoyer un questionnaire. Il devient problématique seulement lorsque le mot « communauté » remplace l’unité observée. Une adresse abonnée prouve un point de contact. Une adresse qui émet prouve une activité de messagerie sous cette identité. Elle ne prouve pas automatiquement une personne unique, un degré d’engagement uniforme ou un pouvoir de représentation.

La correspondance entre deux quantités exprimées en adresses évite au moins de comparer directement des pommes et des oranges. Pourtant, deux comptages cohérents au niveau des adresses peuvent partager le même défaut. L’un peut compter deux fois une personne ; l’autre peut ne pas voir les lecteurs servis par une liste interne. Le rapprochement renseigne sur le système de traces, pas sur tous ceux qui vivent derrière ces traces.

La formulation publique devrait donc distinguer quatre niveaux : adresses contactées, réponses reçues, personnes éventuellement inférées et acteurs auxquels une décision s’applique. Le passage d’un niveau au suivant n’est jamais gratuit. Le principe formulé dans la critique de Lu Heng sur la transformation de la présence en mandat vaut ici sans polémique : la participation fournit une preuve ; elle ne crée pas l’autorité sur l’absent.

Une composition juste peut contenir des opinions atypiques

Même si les 4 457 adresses correspondaient exactement à autant de personnes et si l’auto-classement était parfait, le contrôle resterait partiel. Il vérifierait que la proportion de contributeurs réguliers n’est pas manifestement aberrante. Il ne vérifierait pas que ceux qui ont répondu ressemblent à ceux qui n’ont pas répondu.

Le biais pertinent peut se loger à l’intérieur d’une cohorte. Les habitués les plus satisfaits peuvent participer par loyauté. Les plus critiques peuvent répondre pour provoquer une réforme. Les responsables surchargés peuvent ignorer trois invitations. Les personnes découragées peuvent avoir cessé de lire avant même de voir le questionnaire. Toutes appartiennent éventuellement à la bonne catégorie ; leurs probabilités de réponse et leurs opinions ne sont pas les mêmes.

Le problème se renforce pour les autres groupes. Les auteurs occasionnels, les lecteurs silencieux, les personnes qui ne regardent que les objets des messages, les anciens participants et les nouveaux venus n’ont ni les mêmes usages ni les mêmes traces externes. Le rapport montre lui-même que les appréciations changent avec l’intensité d’engagement et l’expérience de direction. La cohorte la plus visible ne peut donc pas servir de poids universel.

Le contrôle externe agit comme un voyant. S’il échouait, il révélerait un défaut clair de composition. Son succès éteint ce voyant précis. Il ne vérifie pas le reste du tableau électrique. La prudence n’exige pas de rejeter le résultat ; elle exige de nommer la partie inspectée.

Le taux de réponse ne prononce pas le verdict

Le chiffre de 2,81 % attire naturellement l’attention. Il est faible en proportion du cadre de contact. Mais il serait aussi faux d’en déduire que les résultats sont sans valeur que d’affirmer que l’accord d’une cohorte élimine le risque.

Un faible taux peut produire une estimation correcte lorsque la propension à répondre n’est pas liée à la variable étudiée ou lorsqu’un modèle d’ajustement crédible corrige les écarts. Un taux élevé peut rester biaisé si les rares absents partagent une caractéristique décisive. L’AAPOR présente justement le taux comme un diagnostic indispensable, non comme une mesure directe de l’erreur de non-réponse.

La bonne demande est donc affirmative : quels contrôles soutiennent chaque conclusion ? Les attributs connus du cadre peuvent-ils être comparés aux répondants sous forme agrégée ? Les réponses arrivées après les rappels diffèrent-elles des premières ? Le taux d’abandon varie-t-il selon la cohorte ? Des données publiques ou protégées sur l’activité, les comptes Datatracker ou la participation aux réunions permettent-elles une calibration sans identifier personne ?

Les groupes silencieux méritent une mention particulière. L’envoi d’un message laisse une trace commode ; la lecture n’en laisse pas toujours. L’absence de référence externe ne doit pas être confondue avec l’absence du groupe. Elle doit produire une étiquette d’incertitude plus large.

Une marge précise n’englobe pas l’erreur totale

Le rapport associe les 1 480 réponses à une marge maximale de ±2,54 %. La forme est familière : elle ressemble à la précision d’un échantillon aléatoire simple pour une proportion proche de 50 %, compte tenu d’une population finie. Présenté seul, ce nombre peut paraître résumer toute l’incertitude.

Il n’intègre pourtant ni les personnes absentes du cadre, ni la décision volontaire de répondre, ni le fait qu’une adresse ne soit pas toujours une personne, ni l’effet de la formulation, des questions sautées, des exclusions ou du classement des commentaires. Il mesure au mieux une composante conditionnelle de la précision sous un modèle donné.

L’initiative de transparence de l’AAPOR propose une règle pratique : pour un recrutement non probabiliste, une mesure de précision n’est publiable comme telle que si le modèle, ses hypothèses, leur validation et le calcul sont expliqués ; sinon, il faut annoncer la nature non probabiliste et la limite d’inférence. Il ne s’agit pas d’imposer une norme étrangère à l’IETF, mais d’emprunter une distinction professionnelle utile.

Une légende suffirait à réduire l’ambiguïté : précision d’échantillonnage conventionnelle conditionnée à un modèle de réponse aléatoire ; n’inclut pas les erreurs de couverture, d’auto-sélection, de mesure ou de codage. Le nombre reste disponible. Il cesse seulement d’endosser des risques qu’il ne calcule pas.

Les 241 commentaires sont des alertes protégées

La question ouverte Q54 a reçu 241 réponses sur 1 480. Les auteurs les présentent comme les perceptions d’un sous-groupe et comme des thèmes d’action, non comme la définition générale d’un problème systémique. C’est une bonne pratique de portée.

Ces commentaires évoquent la modération, la captation par les entreprises, les délais, l’accès mondial et la responsabilité des dirigeants. Le faible nombre ne rend pas un témoignage anodin. Une atteinte rare peut être grave. Mais la fréquence d’un thème parmi ceux qui choisissent d’écrire librement ne mesure pas sa prévalence dans le cadre complet.

Le rapport indique aussi que Claude Sonnet 4.6 a servi à produire le résumé thématique. Cette divulgation est préférable à une automatisation invisible. Pour rendre la chaîne reproductible sans publier de texte privé, il faudrait ajouter les consignes de classement, les définitions des thèmes, la règle de multi-étiquetage, l’échantillon revu par un humain et un test de stabilité sur une seconde passe.

Le débat ne porte donc pas sur une opposition entre humain et IA. Tout codage transforme un texte en catégorie. La question de gouvernance est de savoir qui contrôle cette transformation, avec quelles règles et pour quelle conclusion autorisée.

La série annuelle a besoin de versions

La répétition annuelle peut devenir la meilleure qualité de l’enquête. Elle permet de repérer des problèmes persistants et d’évaluer une intervention. Encore faut-il comparer la même mesure.

En 2025, plusieurs formulations et échelles ont changé. Les questions Q25 et Q26 sont notamment passées d’une logique de fréquence à une logique d’accord. Cette révision peut améliorer l’intelligibilité, mais elle rompt une partie de la continuité. Un écart d’une année à l’autre peut venir de l’opinion, de la question ou des deux.

Chaque observation longitudinale devrait donc garder son texte exact, son échelle, sa base éligible, son dénominateur, son traitement des non-réponses, ses dates de terrain et sa version de rapport. Le billet sur l’enquête 2024 note d’ailleurs que trois graphiques ont été corrigés après la première publication. La correction est un signe de responsabilité si l’archive indique clairement quelle version a alimenté quelle décision.

Un pourcentage sans version est un souvenir. Un pourcentage lié à son instrument est une observation réutilisable.

Informer n’est pas décider à la place du processus

Le rapport prévoit que l’IESG et l’IETF LLC s’appuient sur ses résultats pour planifier leur travail. Cette utilisation est conforme à la politique d’engagement. Une enquête peut signaler une difficulté, classer des questions à approfondir, mesurer la satisfaction d’un service ou vérifier l’évolution d’une expérience.

Elle ne peut pas, seule, conclure qu’une préoccupation « n’est pas réellement un problème ». Un résultat peu fréquent chez les répondants peut diminuer la plausibilité d’une hypothèse. Il ne dit pas si le phénomène touche les personnes les moins susceptibles de répondre, s’il est rare mais grave, ou si la question structurée mesurait la même chose que le récit libre.

La frontière institutionnelle est nette. La RFC 8711 confie à l’LLC le support administratif sans lui donner autorité sur l’élaboration des normes. La RFC 7282 refuse de réduire le consensus approximatif à un vote : le contenu des objections compte davantage que leur nombre. Une statistique administrative peut éclairer un responsable de groupe. Elle ne remplace pas l’examen technique.

Les répondants n’ont pas à supporter un mandat qu’ils n’ont pas reçu. Ils ont fourni une réponse sous les conditions de l’enquête. Ils n’ont pas été élus pour représenter les adresses silencieuses, les opérateurs absents ou les utilisateurs d’Internet. Les non-répondants ne sont ni favorables, ni opposés, ni abstentionnistes dans ce dossier. Ils ne figurent simplement pas dans l’observation.

Le reçu cohorte–affirmation

Daniel Kade propose de joindre aux principaux résultats un court reçu public. Ce n’est pas une règle actuelle de l’IETF ou de l’AAPOR. Le reçu empêcherait seulement un contrôle ponctuel d’être transmis à des affirmations qu’il ne teste pas.

Pour chaque résultat, il nommerait l’unité : adresse, réponse, répondant, personne modélisée, émetteur actif, inscrit à une réunion ou auteur d’un commentaire. Il donnerait le cadre, la cohorte éligible, le dénominateur de la question, les valeurs manquantes, les dates, la version de l’instrument, les éventuels poids et la version du rapport.

La validation serait une rubrique séparée. Quel référentiel externe ? Même unité et même période ? Quelle variable et quelle cohorte ? Quelle différence observée ? Quels aspects restent sans test ? Le décompte de 4 457 adresses ne se transmettrait donc pas aux jugements sur la direction ou aux lecteurs silencieux.

Le reçu qualifierait ensuite l’inférence : description des répondants, projection conditionnelle vers le cadre ou simple déclencheur d’enquête. Toute marge porterait le nom du modèle et des erreurs exclues. Le codage assisté par IA indiquerait l’outil, la tâche, les consignes, la revue humaine et la stabilité, sans exposer les verbatims.

Enfin viendrait la destination d’autorité. Une décision de service de l’LLC, une enquête de gestion de l’IESG, un appel au consensus d’un groupe de travail et la refonte du questionnaire ne suivent pas la même procédure. Le résultat peut entrer comme preuve dans chacune ; il n’apporte jamais lui-même l’autorité de décider.

Conserver l’enquête, réduire la certitude empruntée

L’IETF devrait poursuivre cette série. La quantité d’information méthodologique publiée est rare et utile. Les résultats donnent une visibilité à des personnes que les réunions et les listes les plus actives ne montrent pas toujours. La réponse proportionnée à une inférence trop large n’est pas de détruire l’instrument.

Il faut plutôt reproduire la méthode du meilleur contrôle : multiplier les références externes quand elles existent, indiquer les cohortes sans référence, séparer les adresses des personnes, versionner les questions, expliciter la précision et relier chaque résultat important à la décision qu’il a effectivement informée.

La conclusion correcte est plus modeste et plus solide. Une invitation large a produit 1 480 réponses valides. Une estimation des contributeurs actifs concorde avec un décompte externe d’adresses. De nombreuses opinions et voies de non-réponse restent non contrôlées. Cela suffit pour éclairer. Cela ne suffit pas pour fabriquer un mandat — et aucune bonne enquête n’a besoin de ce pouvoir.

Limites des éléments disponibles

Cette analyse ne dispose ni des données individuelles, ni des journaux de distribution, ni du jeu d’adresses émettrices, ni des commentaires privés, ni des consignes données au modèle d’IA. Elle ne calcule pas d’estimation de remplacement, ne chiffre pas le biais et n’attribue aucune intention aux auteurs. Elle n’affirme pas qu’une décision IETF nommée a été mal prise. Le reçu proposé est une recommandation de gouvernance, pas une obligation existante.

Sources

  1. Rapport final de l’IETF Community Survey 2025
  2. Billet de publication de l’enquête 2025
  3. Rapports et enquêtes de l’IETF
  4. Politique d’engagement communautaire de l’IETF LLC
  5. RFC 8711
  6. RFC 3935
  7. RFC 7282
  8. AAPOR Transparency Initiative
  9. AAPOR Standard Definitions
  10. Publication et rectification de l’enquête 2024
  11. Lancement de l’enquête 2025