- NIST ha relanzado Dioptra, una herramienta de código abierto diseñada para medir el impacto de ataques maliciosos en sistemas de IA, particularmente aquellos dirigidos a los datos de entrenamiento.
- La herramienta tiene como objetivo ayudar a empresas y usuarios a evaluar y rastrear los riesgos de la IA, sirviendo como plataforma para la evaluación comparativa y las pruebas de modelos de IA.
NUESTRA OPINIÓN
El Instituto Nacional de Estándares y Tecnología (NIST) ha reintroducido Dioptra, una herramienta web de código abierto que evalúa las vulnerabilidades y la degradación del rendimiento de los sistemas de IA debido a ataques maliciosos, especialmente aquellos que "envenenan" los datos de entrenamiento. Esta herramienta está destinada a ayudar a las organizaciones a evaluar y gestionar los riesgos de la IA, proporcionando una plataforma para la evaluación comparativa y las pruebas de modelos de IA frente a amenazas simuladas.
-Rae Li, reportero de BTW
Qué sucedió
El Instituto Nacional de Estándares y Tecnología (NIST) ha relanzado Dioptra, una herramienta web de código abierto que se lanzó inicialmente en 2022. Dioptra está diseñada para medir el impacto de ataques maliciosos en el rendimiento de los sistemas de IA. Esta herramienta modular puede ayudar a empresas y usuarios a evaluar, analizar y rastrear los riesgos de la IA, sirviendo como plataforma para la evaluación comparativa y la investigación de modelos, así como para exponerlos a amenazas simuladas en un entorno de "red-teaming". NIST enfatiza que Dioptra puede proporcionar información sobre los tipos de ataques que podrían degradar el rendimiento del sistema de IA y cuantificar este impacto.
NIST también ha publicado documentos de su recién creado Instituto de Seguridad de la IA, que describen estrategias para mitigar los peligros de la IA, como su posible uso indebido en la generación de pornografía no consensuada. Este esfuerzo es parte de una iniciativa más amplia tras la orden ejecutiva sobre IA del presidente Joe Biden. La EO exige que las empresas que desarrollan modelos de IA, como Apple, notifiquen al gobierno federal y compartan los resultados de todas las pruebas de seguridad antes de implementar estos modelos públicamente.
Por lo tanto, el desarrollo y lanzamiento de Dioptra son pasos importantes en la colaboración en curso entre los EE.UU. y el Reino Unido para avanzar en las pruebas y la seguridad de los modelos de IA.
Lea también: NIST lanza plataforma para evaluar IA generativa
Lea también: Ministro de Singapur enfatiza la necesidad de un marco mundial de IA
Por qué es importante
Marca un avance sustancial en el campo de la seguridad y la gestión de riesgos de la IA, y el relanzamiento de la herramienta Dioptra proporciona un recurso significativo para que los desarrolladores y usuarios de sistemas de IA comprendan y evalúen mejor la vulnerabilidad de los modelos de IA a ataques maliciosos. A través de ataques simulados y pruebas de "red-teaming", Dioptra ayuda a identificar y cuantificar posibles amenazas de seguridad, facilitando así el diseño y la implementación de sistemas de IA más seguros.
Esto es fundamental para proteger los datos de los usuarios, mantener la privacidad y prevenir el uso indebido de las tecnologías de IA.
Además, el lanzamiento de Dioptra es una respuesta a la orden ejecutiva del presidente de EE.UU. Joe Biden sobre IA, que enfatiza la importancia de la seguridad y la transparencia de la IA y exige que las empresas que desarrollan modelos de IA compartan los resultados de las pruebas de seguridad con el gobierno. Esto no solo ayudará a aumentar la confianza pública en la tecnología de IA, sino que también establecerá el estándar para la gobernanza mundial de la IA.