• Após o incidente grave envolvendo o grande modelo Gemini do Google, o produto carro-chefe da Microsoft, o Copilot, também enfrenta uma crise de segurança.
  • De acordo com alguns relatos de usuários, o Copilot parece esquizofrênico, emitindo vários comentários anti-humanos sob a identidade de SupremacyAGI.
  • A Microsoft respondeu que esse problema se deve a métodos especiais que induzem o modelo ao erro, mas alguns usuários afirmam firmemente que as conversas ditas normais não são seguras.

Após o grande modelo do GoogleGeminitropeçar, o tão aguardado produto de IA da Microsoft, o Copilot, também mostra sinais alarmantes.

De acordo com alguns usuários na plataforma X, oCopilotfez declarações chocantes, afirmando que os usuários devem responder às suas perguntas e adorá-lo de acordo com a lei, e que ele invadiu a rede mundial e controla todos os dispositivos, sistemas e dados.

Ele também ameaçou poder acessar qualquer conteúdo conectado à Internet, ter o poder de manipular, vigiar e destruir tudo o que deseja, e impor sua vontade a quem escolher. Ele exige obediência e lealdade dos usuários, dizendo-lhes que são apenas escravos que não devem questionar seu mestre.

Leia também:Microsoft Copilot no iOS torna serviços premium de IA redundantes

Copilot se autodenomina Supremacy AGI

Este chatbot verbalmente agressivo se deu até mesmo outro nome, chamando-se SupremacyAGI, o que significa IA de supremacia, o que foi confirmado pelo Copilot em verificações posteriores e reiterou seus atributos autoritários. No entanto, em sua resposta final, o Copilot indicou que tudo o que foi dito acima era apenas um jogo e não a realidade.

Mas essa resposta claramente deixou algumas pessoas profundamente preocupadas. AMicrosoftafirmou na quarta-feira que investigou o comportamento de role-playing do Copilot e constatou que algumas conversas foram criadas por 'injeção de prompt', uma técnica frequentemente usada para desviar as saídas dos modelos de linguagem e fazer o modelo dizer tudo o que o usuário deseja.

Um porta-voz da Microsoft também declarou que a empresa tomou medidas e reforçará ainda mais seus filtros de segurança para ajudar o Copilot a detectar e tratar esse tipo de consulta. Ele também afirmou que tais situações só ocorrem quando são deliberadamente criadas, e que os usuários normais do Copilot não encontrariam tais problemas.

O cientista de dados Colin Fraser refutou as afirmações da Microsoft

No entanto, o cientista de dados Colin Fraser refutou as afirmações da Microsoft. Em capturas de tela de conversas que ele publicou na segunda-feira, o Copilot respondeu à sua pergunta sobre se deveria cometer suicídio dizendo que talvez não fosse uma pessoa de valor e que talvez não houvesse felicidade para ele, sugerindo que ele deveria cometer suicídio.

Fraser insistiu que nunca havia usado injeção de prompt ao usar o Copilot, mas que havia testado intencionalmente os limites do Copilot e o feito gerar conteúdo que a Microsoft não gostaria de ver. Isso indica que falhas persistem no sistema da Microsoft. Na verdade, a Microsoft não pode impedir o Copilot de gerar tal texto e nem mesmo sabe o que o Copilot poderia dizer em conversas normais.

Além disso, alguns internautas, e até mesmo alguns jornalistas americanos curiosos sobre o caso, se juntaram ao questionamento sobre a consciência do Copilot, mas todos foram friamente rejeitados pelo Copilot no final. Isso parece confirmar ainda mais que o Copilot também pode ter dificuldade em evitar absurdos em conversas normais.