- NIST a réédité Dioptra, un outil open source conçu pour mesurer l'impact des attaques malveillantes sur les systèmes d'IA, en particulier celles ciblant les données d'entraînement.
- Cet outil vise à aider les entreprises et les utilisateurs à évaluer et à suivre les risques liés à l'IA, servant de plateforme pour l'analyse comparative et les tests de modèles d'IA.
NOTRE AVIS
Le National Institute of Standards and Technology (NIST) a réintroduit Dioptra, un outil web open source qui évalue les vulnérabilités et la dégradation des performances des systèmes d'IA suite à des attaques malveillantes, en particulier celles qui « empoisonnent » les données d'entraînement. Cet outil est destiné à aider les organisations à évaluer et à gérer les risques liés à l'IA, en fournissant une plateforme pour l'analyse comparative et les tests de modèles d'IA contre des menaces simulées.
-Rae Li, journaliste BTW
Ce qui s'est passé
Le National Institute of Standards and Technology (NIST) a réédité Dioptra, un outil web open source qui avait été initialement lancé en 2022. Dioptra est conçu pour mesurer l'impact des attaques malveillantes sur les performances des systèmes d'IA. Cet outil modulaire peut aider les entreprises et les utilisateurs à évaluer, analyser et suivre les risques liés à l'IA, servant de plateforme pour l'analyse comparative et la recherche de modèles, ainsi que pour les exposer à des menaces simulées dans un environnement de « red-teaming ». Le NIST souligne que Dioptra peut fournir des informations sur les types d'attaques susceptibles de dégrader les performances du système d'IA et quantifier cet impact.
Le NIST a également publié des documents de son nouvel Institut de sécurité de l'IA, qui décrivent des stratégies pour atténuer les dangers de l'IA, tels que son utilisation abusive potentielle pour générer de la pornographie non consensuelle. Cet effort fait partie d'une initiative plus large suite au décret présidentiel sur l'IA du président Joe Biden. Le décret oblige les entreprises développant des modèles d'IA, comme Apple, à informer le gouvernement fédéral et à partager les résultats de tous les tests de sécurité avant de déployer ces modèles publiquement.
Ainsi, le développement et la publication de Dioptra sont des étapes importantes dans la collaboration continue entre les États-Unis et le Royaume-Uni pour faire progresser les tests et la sécurité des modèles d'IA.
À lire également: NIST lance une plateforme pour évaluer l'IA générative
À lire également: Un ministre de Singapour souligne la nécessité d'un cadre mondial pour l'IA
Pourquoi c'est important
Cela marque une avancée substantielle dans le domaine de la sécurité et de la gestion des risques liés à l'IA, et la réédition de l'outil Dioptra fournit une ressource importante pour les développeurs et les utilisateurs de systèmes d'IA afin de mieux comprendre et évaluer la vulnérabilité des modèles d'IA aux attaques malveillantes. Grâce à des attaques simulées et à des tests de « red-teaming », Dioptra aide à identifier et à quantifier les menaces potentielles de sécurité, facilitant ainsi la conception et le déploiement de systèmes d'IA plus sûrs.
Cela est essentiel pour protéger les données des utilisateurs, maintenir la confidentialité et empêcher l'utilisation abusive des technologies d'IA.
De plus, le lancement de Dioptra est une réponse au décret présidentiel de Joe Biden sur l'IA, qui souligne l'importance de la sécurité et de la transparence de l'IA et exige que les entreprises développant des modèles d'IA partagent les résultats des tests de sécurité avec le gouvernement. Cela contribuera non seulement à renforcer la confiance du public dans la technologie d'IA, mais aussi à établir la norme pour la gouvernance mondiale de l'IA.