• O Microsoft Azure introduz novos recursos de segurança para modelos de IA, incluindo Prompt Shields e Groundedness Detection, visando detectar vulnerabilidades e bloquear prompts maliciosos.
  • Esses recursos melhoram o controle da filtragem de conteúdo inadequado, atendendo às preocupações com a segurança dos modelos de IA.
  • O compromisso da Microsoft com a segurança da IA está alinhado com a expansão das capacidades de IA do Azure em um contexto de demanda crescente.

Sarah Bird, gerente de produto-chefe de IA responsável na Microsoft, revela ao The Verge em uma entrevista a implantação de novos recursos de segurança projetados por sua equipe para os clientes do Azure. Esses recursos, alimentados pela tecnologia LLM, visam detectar vulnerabilidades, monitorar cenários plausíveis, mas não comprovados, e bloquear prompts maliciosos em tempo real para usuários que utilizam os modelos de IAAzure.

Leia também:Windows fica sob nova direção devido à reorganização de IA da Microsoft

Leia também:Microsoft Teams ganha recursos de IA Copilot mais inteligentes

Existem vários recursos que melhoram a segurança

Os recursos incluem Prompt Shields, Groundedness Detection e avaliações de segurança, com recursos adicionais como direcionar os modelos para saídas seguras e rastrear prompts para usuários problemáticos futuros. Notavelmente, o sistema avalia os prompts de entrada quanto a palavras proibidas e dicas ocultas antes do processamento, garantindo que as respostas correspondam aos resultados desejados.

Ele pode filtrar discursos de ódio ou violência em modelos de IA

Bird destaca o controle personalizável da filtragem de discursos de ódio ou violência em modelos de IA, atendendo às preocupações com conteúdo inadequado. Essas medidas de segurança se estendem a modelos populares comoGPT-4eLlama 2, embora os usuários de modelos open-source menores e menos utilizados possam precisar configurar manualmente os recursos.

O compromisso da Microsoft em melhorar a segurança da IA está alinhado com a crescente demanda pelas capacidades de IA do Azure, destacada por parcerias recentes que visam expandir suas ofertas de modelos.