• NIST relançou o Dioptra, uma ferramenta open source projetada para medir o impacto de ataques maliciosos em sistemas de IA, especialmente aqueles que visam dados de treinamento.
  • Essa ferramenta visa ajudar empresas e usuários a avaliar e monitorar os riscos relacionados à IA, servindo como uma plataforma para benchmarking e testes de modelos de IA.

NOSSA OPINIÃO
O National Institute of Standards and Technology (NIST) reintroduziu o Dioptra, uma ferramenta web open source que avalia vulnerabilidades e degradação de desempenho de sistemas de IA após ataques maliciosos, especialmente aqueles que «envenenam» os dados de treinamento. Esta ferramenta destina-se a ajudar organizações a avaliar e gerenciar os riscos relacionados à IA, fornecendo uma plataforma para benchmarking e testes de modelos de IA contra ameaças simuladas.
-Rae Li, jornalista BTW

O que aconteceu

O National Institute of Standards and Technology (NIST) relançou o Dioptra, uma ferramenta web open source que foi inicialmente lançada em 2022.Dioptraé projetado para medir o impacto de ataques maliciosos no desempenho de sistemas de IA. Esta ferramenta modular pode ajudar empresas e usuários a avaliar, analisar e monitorar os riscos relacionados à IA, servindo como plataforma para benchmarking e pesquisa de modelos, bem como expô-los a ameaças simuladas em um ambiente de «red-teaming». O NIST enfatiza que o Dioptra pode fornecer insights sobre os tipos de ataques que podem degradar o desempenho do sistema de IA e quantificar esse impacto.

O NIST também publicou documentos de seu novo Instituto de Segurança de IA, que descrevem estratégias para mitigar os perigos da IA, como seu uso abusivo potencial para gerar pornografia não consensual. Esse esforço faz parte de uma iniciativa mais ampla após o decreto presidencial sobre IA do presidente Joe Biden. O decreto exige que empresas que desenvolvem modelos de IA, como a Apple, informem o governo federal e compartilhem os resultados de todos os testes de segurança antes de implantar esses modelos publicamente.

Assim, o desenvolvimento e a publicação do Dioptra são passos importantes na colaboração contínua entre os Estados Unidos e o Reino Unido para avançar os testes e a segurança dos modelos de IA.

Leia também:NIST lança plataforma para avaliar IA generativa

Leia também:Ministro de Cingapura enfatiza a necessidade de um quadro global de IA

Por que isso é importante

Isso marca um avanço substancial no campo da segurança e gerenciamento de riscos de IA, e o relançamento da ferramenta Dioptra fornece um recurso importante para desenvolvedores e usuários de sistemas de IA entenderem e avaliarem melhor a vulnerabilidade dos modelos de IA a ataques maliciosos. Por meio de ataques simulados e testes de «red-teaming», o Dioptra ajuda a identificar e quantificar ameaças potenciais de segurança, facilitando o projeto e a implantação de sistemas de IA mais seguros. Isso é essencial para proteger os dados dos usuários, manter a confidencialidade e impedir o uso indevido das tecnologias de IA.

Além disso, o lançamento do Dioptra é uma resposta ao decreto presidencial de Joe Biden sobre IA, que destaca a importância da segurança e transparência da IA e exige que as empresas que desenvolvem modelos de IA compartilhem os resultados dos testes de segurança com o governo. Isso não só ajudará a fortalecer a confiança do público na tecnologia de IA, mas também a estabelecer o padrão para a governança global da IA.