Sistema de segurança da Microsoft pode capturar alucinações em seus aplicativos de IA

O sistema de segurança da Microsoft que pode capturar alucinações em seus aplicativos de IA é perfilado pela BTW Media porque evidências publicadas o vinculam à infraestrutura da internet, governança, dependências operacionais ou visibilidade de mercado.

• O Azure da Microsoft introduz novos recursos de segurança para modelos de IA, incluindo Prompt Shields e Groundedness Detection, com o objetivo de detectar vulnerabilidades e bloquear prompts maliciosos.
• Esses recursos aprimoram o controle sobre a filtragem de conteúdo inadequado, abordando preocupações sobre a segurança dos modelos de IA.
• O compromisso da Microsoft com a segurança da IA está alinhado com a expansão das capacidades de IA do Azure em meio à crescente demanda.

A diretora de produtos de IA Responsável da Microsoft,Sarah Bird, revela ao The Verge em uma entrevista o lançamento de novos recursos de segurança projetados por sua equipe para clientes do Azure. Esses recursos, alimentados pela tecnologia LLM, visam detectar vulnerabilidades, monitorar cenários plausíveis, mas não suportados, e bloquear prompts maliciosos em tempo real para usuários que utilizamAzuremodelos de IA.

Leia também:Windows está sob nova administração devido à reorganização da IA da Microsoft

Leia também:Microsoft Teams está recebendo recursos de IA Copilot mais inteligentes

Há diversas funcionalidades que melhoram a segurança

As funcionalidades incluem Prompt Shields, Groundedness Detection e avaliações de segurança, com recursos adicionais, como direcionar modelos para saídas seguras e rastrear prompts de usuários problemáticos em breve. Notavelmente, o sistema avalia prompts de entrada quanto a palavras proibidas e dicas ocultas antes do processamento, garantindo que as respostas estejam alinhadas com os resultados desejados.

Ele pode filtrar discurso de ódio ou violência em modelos de IA

Bird enfatiza o controle personalizável sobre a filtragem de discurso de ódio ou violência em modelos de IA, abordando preocupações sobre conteúdo inadequado. Essas medidas de segurança se estendem a modelos populares comoGPT-4eLlama 2, embora os usuários de modelos de código aberto menores e menos usados possam precisar configurar os recursos manualmente.

O compromisso da Microsoft em melhorar a segurança da IA está alinhado com a crescente demanda pelas capacidades de IA do Azure, reforçado por parcerias recentes destinadas a expandir sua oferta de modelos.