NIST relança ferramenta Dioptra para segurança de IA

NIST relança ferramenta Dioptra para combater ameaças de segurança de IA é perfilado pela BTW Media porque evidências publicadas o vinculam à infraestrutura da internet, governança, dependências operacionais ou visibilidade de mercado.

• O National Institute of Standards and Technology (NIST) relançou o Dioptra, uma ferramenta de teste projetada para medir o impacto de ataques maliciosos em sistemas de IA.
• Seu caráter de código aberto o torna acessível para agências governamentais e pequenas empresas, promovendo transparência e confiança em tecnologias de IA.

NOSSA OPINIÃO
Lembra quando todos entraram em pânico com deepfakes? Pois é, o Dioptra do NIST está de volta como um cavaleiro cibernético em armadura brilhante, pronto para testar o metal da IA contra ataques maliciosos. É como ter um serviço de segurança para sua IA, garantindo que ela não seja enganada por dados falsos ou saia do controle. Mas sejamos realistas, não é uma solução milagrosa. Com GPT-4 e outros grandes modelos, o alcance do Dioptra parece um pouco limitado, concentrando-se apenas em modelos hospedados localmente. Ainda assim, é um passo na direção certa.
– Miurio Huang, jornalista da BTW

O que aconteceu

ONational Institute of Standards and Technology (NIST), uma agência do Departamento de Comércio dos EUA, relançou oDioptra, uma ferramenta de teste projetada para medir o impacto de ataques maliciosos em sistemas de IA. Originalmente lançado em 2022, o Dioptra é uma ferramenta web modular de código aberto que ajuda empresas e indivíduos a avaliar, analisar e rastrear riscos de IA, com foco em ataques que "envenenam" os dados de treinamento dos modelos de IA.

O Dioptra visa apoiar a análise comparativa e a pesquisa de modelos de IA, fornecendo uma plataforma comum para expor modelos a ameaças simuladas em um ambiente de "Red Teaming". Este relançamento é acompanhado por documentos do NIST e do recentemente criado AI Safety Institute, que descrevem estratégias para mitigar os perigos da IA, incluindo a geração de pornografia não consensual.

Leia também:Ministro de Cingapura enfatiza a necessidade de uma estrutura global de IA

Leia também:NIST lança plataforma para avaliar IA generativa

Por que isso é importante

O relançamento do Dioptra é importante para abordar preocupações sobre a segurança e confiabilidade dos modelos de IA em diversos setores. A ferramenta simula e avalia ataques adversariais, ajudando organizações a identificar vulnerabilidades e desenvolver estratégias de defesa. Seu caráter de código aberto o torna acessível para agências governamentais e pequenas empresas, promovendo transparência e confiança em tecnologias de IA.

Este relançamento está alinhado com a ordem executiva do presidente Joe Biden sobre IA, que exige que o NIST auxilie na testagem de sistemas de IA e estabeleça padrões para a segurança de IA. A ordem obriga as empresas a informar o governo federal e compartilhar os resultados de testes de segurança antes de implantar modelos de IA, garantindo o desenvolvimento responsável e minimizando os riscos para a sociedade.

Apesar de suas limitações, como suportar apenas modelos baixados localmente e não aqueles acessíveis via APIs como GPT-4, o Dioptra é um avanço crucial na avaliação de riscos de IA. Ele ajuda a entender como os ataques podem prejudicar o desempenho da IA e fornece dados sobre esses impactos, fortalecendo a segurança da IA e contribuindo para o desenvolvimento de sistemas de IA robustos e confiáveis.