• Le National Institute of Standards and Technology (NIST) a relancé Dioptra, un banc d’essai conçu pour mesurer l’impact des attaques malveillantes sur les systèmes d’IA.
  • Sa nature open source le rend accessible aux agences gouvernementales et aux petites entreprises, favorisant la transparence et la confiance dans les technologies d’IA.

NOTRE AVIS
Vous souvenez-vous quand nous avons tous paniqué à propos des Deepfakes ? Eh bien, le Dioptra du NIST est de retour tel un cyber-chevalier en armure étincelante, prêt à tester le métal de l’IA contre les attaques malveillantes. C’est comme avoir un garde de sécurité pour votre IA, s’assurant qu’elle ne se fasse pas tromper par de fausses données ou ne devienne incontrôlable. Mais soyons réalistes, ce n’est pas une solution miracle. Avec GPT-4 et d’autres gros calibres, la portée de Dioptra semble un peu limitée, se concentrant uniquement sur les modèles hébergés localement. Pourtant, c’est un pas dans la bonne direction.
–Miurio huang, journaliste BTW

Ce qui s'est passé

Le National Institute of Standards and Technology (NIST), une agence du département américain du Commerce, a relancé Dioptra, un banc d'essai conçu pour mesurer l'impact des attaques malveillantes sur les systèmes d'IA. Lancé à l'origine en 2022, Dioptra est un outil modulaire open source basé sur le Web qui aide les entreprises et les particuliers à évaluer, analyser et suivre les risques liés à l'IA, en se concentrant particulièrement sur les attaques qui « empoisonnent » les données d'entraînement des modèles d'IA.

Dioptra vise à aider à l'analyse comparative et à la recherche de modèles d'IA, en fournissant une plateforme commune pour exposer les modèles à des menaces simulées dans un environnement de « red-teaming ». Cette réédition s'accompagne de documents du NIST et de l'AI Safety Institute récemment créé, décrivant des stratégies pour atténuer les dangers de l'IA, y compris la génération de pornographie non consentie.

À lire aussi: Un ministre de Singapour souligne la nécessité d'un cadre mondial pour l'IA

À lire aussi: Le NIST lance une plateforme d'évaluation de l'IA générative

Pourquoi c'est important

La réédition de Dioptra est importante pour répondre aux préoccupations concernant la sécurité et la fiabilité des modèles d'IA utilisés dans divers secteurs. L'outil simule et évalue les attaques adverses, aidant les organisations à identifier les vulnérabilités et à élaborer des stratégies d'atténuation. Sa nature open source le rend accessible aux agences gouvernementales et aux petites entreprises, favorisant la transparence et la confiance dans les technologies d'IA.

Cette réédition s'aligne sur le décret exécutif du président Joe Biden sur l'IA, qui exige que le NIST aide à tester les systèmes d'IA et établisse des normes pour la sécurité de l'IA. Le décret impose aux entreprises d'informer le gouvernement fédéral et de partager les résultats des tests de sécurité avant de déployer des modèles d'IA, garantissant un développement responsable et minimisant les risques pour la société.

Malgré ses limites, comme le fait de ne prendre en charge que les modèles téléchargeables localement et non ceux accessibles via API comme GPT-4, Dioptra est une avancée cruciale dans l'évaluation des risques liés à l'IA. Il aide à comprendre comment les attaques peuvent affecter les performances de l'IA et fournit des données sur ces impacts, renforçant la sécurité de l'IA et contribuant au développement de systèmes d'IA robustes et fiables.