Résumé

  • Pour Leveson, la sécurité résulte des interactions et des contraintes imposées à un système sociotechnique, non de la seule fiabilité de ses composants.
  • STPA recherche à l'avance les actions de contrôle dangereuses et leurs scénarios; CAST examine, après une perte, pourquoi les contrôles n'ont pas tenu.
  • Ces méthodes orientent l'analyse et la conception, sans promettre de prévoir tous les accidents ni de dispenser des essais de fiabilité.

Prenons une commande de freinage que le logiciel refuse parce qu'un capteur indique le mauvais mode. Le capteur mesure ce qu'il doit mesurer; le programme suit sa règle; l'opérateur agit conformément à la procédure. Le danger apparaît dans leur rencontre, à un instant que la règle ne représente pas correctement. Chercher une pièce défectueuse ne suffit pas à expliquer pourquoi la commande décisive dépendait de cette information.

La notice du MIT présente Nancy Leveson comme professeure d'aéronautique, d'astronautique et de systèmes d'ingénierie, travaillant notamment sur la sûreté des logiciels et des organisations. Son article sur un nouveau modèle d'accident, publié par le MIT en 2002, demandait de dépasser l'attribution de faute pour étudier aussi les structures sociales et techniques. Dans Engineering a Safer World, paru en 2012, cette réflexion prend le nom de STAMP, Systems-Theoretic Accident Model and Processes.

Il faut distinguer deux épreuves. La fiabilité vérifie qu'un élément remplit sa fonction attendue. La sécurité demande si l'ensemble évite une perte inacceptable, par exemple une blessure. Une panne peut évidemment provoquer une perte; STAMP l'inclut. Mais des éléments fiables peuvent aussi se coordonner de manière dangereuse. Une décision juste dans un mode peut être fausse dans un autre. Deux autorités peuvent donner des instructions incompatibles. Leurs taux individuels de défaillance ne mesurent pas ces relations.

L'analyse définit ensuite le danger : un état du système qui, dans un environnement donné, peut conduire à la perte. On peut agir sur ce danger avant qu'une personne soit blessée. Une contrainte de sécurité précise ce qui doit être empêché ou maintenu. Le périmètre doit comprendre les acteurs capables de peser sur cette contrainte : machines, opérateurs, maintenance, encadrement et parfois autorités de contrôle. Réduire ce périmètre au matériel rendrait invisibles les décisions qui en déterminent l'usage.

Dans la boucle de contrôle, un contrôleur adresse une action de contrôle à un processus contrôlé et reçoit un retour d'information. Le contrôleur peut être humain, informatique ou institutionnel. Il s'appuie sur un modèle du processus, c'est-à-dire sa représentation de l'état présent et du contexte. Un signal retardé ou un rapport qui n'atteint jamais son destinataire peut rendre cette représentation fausse. Une action cohérente avec elle devient alors dangereuse dans la situation réelle.

Le manuel STPA, cosigné par Leveson et John P. Thomas, propose quatre familles d'actions dangereuses : fournir une commande qui crée un danger; omettre une commande nécessaire; agir trop tôt, trop tard ou dans le mauvais ordre; interrompre trop vite une action ou la prolonger trop longtemps. Ce classement oblige à nommer le contexte. Il ne transforme pas automatiquement un mot comme « arrêter » ou « autoriser » en décision sûre.

STAMP désigne le modèle causal. STPA est l'analyse préventive fondée sur ce modèle : préciser les pertes, dangers et contraintes, construire la structure de contrôle, relever les actions dangereuses, élaborer leurs scénarios causaux et en tirer des exigences vérifiables. Dessiner des cases et des flèches ne réalise pas à lui seul cette démarche. CAST intervient après un événement pour examiner la structure de contrôle, les informations reçues à chaque niveau et les raisons pour lesquelles les contraintes ont cédé. Le répertoire des manuels du MIT expose cette différence entre anticipation et apprentissage rétrospectif.

Le mérite personnel ne doit pas effacer le collectif. Leveson a formulé STAMP et conduit ce programme de recherche. Thomas a cosigné le manuel et enseigné la pratique de STPA. Les ateliers du MIT documentent le travail de William Young sur les applications à la sécurité informatique, de Shem Malmquist sur CAST et de Cody Fleming sur l'analyse des premières phases de conception. Le catalogue des travaux situe Nicolas Dulac et Joel Cutcher-Gershenfeld dans les recherches connexes sur l'ingénierie et l'organisation. La théorie des systèmes, la théorie du contrôle et les praticiens de la sûreté préexistaient à ce programme et continuent de l'enrichir.

La méthode a aussi ses limites. STPA ne connaît pas toutes les interactions futures; CAST ne peut reconstituer les données jamais recueillies. Leur portée dépend du périmètre choisi, de la qualité des observations, du dialogue entre métiers et de la mise en œuvre des corrections. Les essais de composants restent indispensables là où une panne est possible. L'apport de Leveson est d'avoir montré pourquoi ils ne peuvent, seuls, constituer une preuve de sécurité du système.

Sources