• El Instituto Nacional de Estándares y Tecnología ha relanzado Dioptra, un banco de pruebas diseñado para medir el impacto de ataques maliciosos en sistemas de IA.
  • Su naturaleza de código abierto lo hace accesible a agencias gubernamentales y pequeñas empresas, promoviendo la transparencia y la confianza en las tecnologías de IA.

NUESTRA OPINIÓN
¿Recuerdan cuando todos nos asustamos con los Deepfakes? Bueno, Dioptra de NIST está de vuelta como un caballero cibernético con armadura brillante, listo para poner a prueba el metal de la IA contra ataques maliciosos. Es como tener un guardia de seguridad para tu IA, asegurándose de que no sea engañada por datos falsos o se vuelva rebelde. Pero seamos realistas, esto no es una bala de plata. Con GPT-4 y otras armas pesadas por ahí, el alcance de Dioptra parece un poco limitado, enfocándose solo en modelos alojados localmente. Aun así, es un paso en la dirección correcta.
–Miurio huang, BTW reporter

Lo que ha ocurrido

El Instituto Nacional de Estándares y Tecnología (NIST), una agencia del Departamento de Comercio de EE.UU., ha relanzado Dioptra, un banco de pruebas diseñado para medir el impacto de ataques maliciosos en sistemas de IA. Presentado originalmente en 2022, Dioptra es una herramienta web modular de código abierto que ayuda a empresas e individuos a evaluar, analizar y rastrear riesgos de IA, centrándose particularmente en ataques que “envenenan” los datos de entrenamiento de modelos de IA.

Dioptra tiene como objetivo ayudar en la evaluación comparativa y la investigación de modelos de IA, proporcionando una plataforma común para exponer modelos a amenazas simuladas en un entorno de “red-teaming”. Este relanzamiento llega acompañado de documentos del NIST y del recientemente establecido Instituto de Seguridad de la IA, que describen estrategias para mitigar los peligros de la IA, incluida la generación de pornografía no consentida.

Lea también: Ministro de Singapur enfatiza la necesidad de un marco mundial de IA

Lea también: NIST lanza plataforma para evaluar la IA generativa

Por qué es importante

El relanzamiento de Dioptra es significativo para abordar las preocupaciones sobre la seguridad y confiabilidad de los modelos de IA utilizados en diversas industrias. La herramienta simula y evalúa ataques adversarios, ayudando a las organizaciones a identificar vulnerabilidades y desarrollar estrategias de mitigación. Su naturaleza de código abierto lo hace accesible a agencias gubernamentales y pequeñas empresas, promoviendo la transparencia y la confianza en las tecnologías de IA.

Este relanzamiento está alineado con la orden ejecutiva del presidente Joe Biden sobre IA, que requiere que el NIST ayude en las pruebas de sistemas de IA y establezca estándares para la seguridad de la IA. La orden exige que las empresas notifiquen al gobierno federal y compartan los resultados de las pruebas de seguridad antes de implementar modelos de IA, garantizando un desarrollo responsable y minimizando los riesgos sociales.

A pesar de las limitaciones, como solo admitir modelos descargables localmente y no aquellos con acceso mediante API como GPT-4, Dioptra es un paso crucial en la evaluación de riesgos de IA. Ayuda a comprender cómo los ataques pueden afectar el rendimiento de la IA y proporciona datos sobre estos impactos, mejorando la seguridad de la IA y contribuyendo al desarrollo de sistemas de IA robustos y confiables.