Sexismo no ChatGPT: Como o viés oculto da IA nos afeta

• Preconceitos de gênero em modelos de IA como o ChatGPT são motivo de preocupação: algumas respostas podem transmitir estereótipos de gênero involuntariamente.
• Apesar dos esforços dos desenvolvedores para reduzir preconceitos, distorções nos dados e diferenças culturais dificultam a igualdade de gênero.
• Mais transparência e mecanismos de feedback do usuário são o caminho para a melhoria, e a IA precisa encontrar um equilíbrio entre redução de preconceitos e experiências personalizadas.

AAmazondesenvolveu em 2014 uma ferramenta de IA para pré-selecionar candidatas, a fim de simplificar o processo de contratação com o uso de IA. No entanto, a empresa rapidamente descobriu que o sistema de recrutamento com IA tendia a avaliar as candidatas mulheres de forma mais negativa, especialmente para cargos técnicos.

Os testes da Amazon mostraram que a IA apresentava um viés injusto em relação às candidatas mulheres. Essa descoberta chocou o setor de tecnologia. Apesar dos investimentos significativos da Amazon no desenvolvimento dessa ferramenta, a empresa acabou abandonando-a devido ao seu viés implícito contra as mulheres. Esse caso ilustrou que os sistemas de IA podem conter discriminação de gênero involuntária mesmo quando as intenções dos desenvolvedores são neutras.

A IA está mudando rapidamente a forma como interagimos com o mundo, mas o problema dos preconceitos de gênero é onipresente. Não podemos ignorar esse fenômeno, pois ele vai além das interações individuais e molda sutilmente nossas percepções sociais.

Isso levanta uma questão importante: os modelos de linguagem comoChatGPTtambém refletem involuntariamente ospreconceitos de gêneropresentes na sociedade? Como esses preconceitos podem influenciar nossas crenças e decisões em nossas interações diárias com a IA?

Leia também:O duplo sexismo da voz sedutora "Her" do ChatGPT

Os preconceitos inconscientes do ChatGPT (IA)

O ChatGPT foi projetado para fornecer respostas neutras e objetivas, mas suas respostas são realmente livres de preconceitos de gênero? Os modelos de IA dependem principalmente de vastos conjuntos de dados para treinamento, que geralmente contêm textos de mídias sociais, sites e outras fontes públicas. Quando esse texto reflete os preconceitos de gênero da sociedade, os modelos de IA podem reproduzir involuntariamente esses "preconceitos inconscientes" em suas respostas.

Em alguns testes, descobrimos que o ChatGPT tende a usar um gênero específico para representar certas profissões ou papéis. Por exemplo, quando os usuários perguntam ao ChatGPT quem é mais adequado para um cargo de enfermeiro ou executivo, o ChatGPT pode tender sutilmente a respostas influenciadas por estereótipos de gênero. Esses preconceitos matizados, embora menos óbvios do que a linguagem discriminatória tradicional, ainda podem afetar a percepção e a tomada de decisão dos usuários.

Como entender os preconceitos de gênero no ChatGPT? Alguns usuários podem não notar essas diferenças sutis imediatamente, pois as respostas do ChatGPT geralmente parecem objetivas. No entanto, o problema está em seu "viés inconsciente". Embora a IA não tenha uma perspectiva real de gênero, ela reflete inconscientemente estereótipos profundamente enraizados presentes em seus dados de treinamento. Isso não afeta apenas a percepção dos usuários, mas também pode criar um novo "ciclo de feedback" de preconceitos. Ou seja, os usuários internalizam as informações tendenciosas da IA, reforçam essas opiniões na vida real, o que, por sua vez, aprofunda as distorções nos dados. "Depois que um modelo aprende com dados distorcidos e é reimplantado, o viés do modelo pode ser ampliado ainda mais ao gerar novos dados, levando ao chamado 'efeito de amplificação de viés'", dizRohan Taori, doutorando em ciência da computação naUniversidade de Stanford.

Em relação aos loops de feedback e preconceitos na IA, os cientistas da computação enfatizam que os loops de feedback de dados podem amplificar distorções já existentes nos conjuntos de dados.

Depois que um modelo aprende com dados distorcidos e é reimplantado, o viés do modelo pode ser ampliado ainda mais ao gerar novos dados, levando ao chamado 'efeito de amplificação de viés'.

Rohan Taori, doutorando em ciência da computação, Universidade de Stanford

Leia também:Novo estudo mostra que o ChatGPT é bastante sexista

Por que a igualdade de gênero no ChatGPT é tão difícil de alcançar?

Os desenvolvedores projetam grandes modelos de linguagem como o ChatGPT para atender a várias necessidades de conversação e fornecer uma ampla gama de informações e suporte.

No entanto, é importante notar que os dados de treinamento do ChatGPT cobrem uma grande quantidade de conteúdo da web e textos públicos, e esses conteúdos muitas vezes refletem os preconceitos de gênero da sociedade. Embora aOpenAItente filtrar dados mais equilibrados e diversos, muitos preconceitos permanecem ocultos em linguagem sutil. Por exemplo, as respostas do modelo transmitem silenciosamente certos estereótipos sobre profissões, habilidades e personalidades.Ruhi Khan, pesquisadora da ESRC naLSE, enfatizou que pronomes masculinos eram menos frequentemente associados a profissões tradicionalmente femininas, e pronomes femininos eram frequentemente ligados a papéis de cuidado ou menos técnicos.

Ao mesmo tempo, os usuários do ChatGPT vêm de todo o mundo, cada um com diferentes perspectivas de gênero, origens culturais e normas sociais. O ChatGPT tem dificuldade em equilibrar precisamente essas diferenças culturais para garantir uma experiência de conversação adequada e livre de preconceitos para cada usuário.

Para reduzir os preconceitos de gênero, a equipe de desenvolvimento do ChatGPT poderia incorporar mais estratégias de desenviesamento no texto gerado pelo modelo. No entanto, existem desafios. Conversas muito neutras podem parecer "frias" ou "estereotipadas", faltando personalidade e naturalidade na interação.

Isso também levanta outra questão central: devemos eliminar completamente os preconceitos ou equilibrar as diferentes características de gênero enquanto respeitamos a diversidade? A atual tecnologia de IA ainda não resolveu perfeitamente esse problema, mas podemos tornar a IA mais neutra fortalecendo as diretrizes éticas e aumentando a transparência tecnológica.

Leia também:Um estudo abrangente sobre o ChatGPT: avanços, limitações e considerações éticas no processamento de linguagem natural e na cibersegurança

Quiz

Qual é a principal razão pela qual modelos de linguagem como o ChatGPT podem ser tendenciosos em questões de gênero?

A. Os designers inseriram algoritmos sexistas intencionalmente

B. A maioria dos modelos de IA é treinada com dados que contêm preconceitos de gênero

C. Os modelos de IA geram automaticamente preconceitos de gênero sem nenhum dado

D. O ChatGPT foi projetado especificamente para um determinado gênero e, portanto, é tendencioso

(A resposta correta está no final do artigo)

A "consciência de gênero" no ChatGPT: igualdade necessária ou novo desafio?

A introdução da "consciência de gênero" no ChatGPT pode ser vista como uma faca de dois gumes. Por um lado, permite que o modelo atenda melhor às necessidades dos usuários em determinados cenários específicos, fornecendo serviços detalhados e personalizados. Por outro lado, uma implementação descuidada do reconhecimento e ajuste de gênero pela IA pode levantar questões éticas e até mesmo agravar involuntariamente os preconceitos de gênero. Como a pesquisadora de IAKate Crawfordenfatizou: "Os sistemas de IA não são neutros. Eles estão frequentemente profundamente enraizados nas normas sociais e, se não forem projetados cuidadosamente, podem exacerbar as desigualdades existentes." Esta citação de Kate Crawford ressalta que a IA não é neutra, especialmente em áreas sensíveis como gênero. Se não for projetada corretamente, pode piorar as desigualdades na sociedade.

Pesquisadores como o Dr.Moatsum Alawidaenfatizam que eliminar preconceitos sem sacrificar a autenticidade das conversas continua sendo um desafio complexo e contínuo no desenvolvimento de IA. Ele afirmou: "Eliminar preconceitos sem sacrificar o realismo da conversa continua sendo um desafio complexo e contínuo no desenvolvimento de IA."

Eliminar preconceitos sem sacrificar o realismo da conversa continua sendo um desafio complexo e contínuo no desenvolvimento de IA.

Dr. Moatsum Alawida, professor assistente de cibersegurança, Universidade de Abu Dhabi

A seguir, exploraremos mais detalhadamente a necessidade e os riscos da "consciência de gênero" na IA.

Como a consciência de gênero melhora as experiências personalizadas?

Uma nova perspectiva sugere que a IA não deve ignorar completamente o gênero, mas sim adotar uma "consciência de gênero" mais matizada. Essa consciência pode não apenas ajudar a evitar preconceitos, mas também fornecer respostas mais personalizadas e detalhadas em certos contextos. Na discussão sobre IA e gênero, alguns especialistas argumentam que a IA não deve ignorar o gênero, mas sim adotar uma abordagem "sensível ao gênero". Essa perspectiva enfatiza a importância de reconhecer o impacto dos preconceitos de gênero nos sistemas de IA e tomar medidas para abordar esses problemas conscientemente. De acordo com relatórios de organizações como aOCDEe aIBM, embora a IA tenha o potencial de reduzir as desigualdades de gênero, também pode reforçar estereótipos se for mal gerenciada. A OCDE enfatizou que a IA não deve ignorar o gênero, mas sim adotar uma abordagem "sensível ao gênero".

Além disso,Sara Sterlie, pesquisadora da Universidade Técnica da Dinamarca (DTU), declarou: "Esperávamos um certo preconceito de gênero, pois o ChatGPT é treinado em material da internet que, até certo ponto, reflete os estereótipos de gênero que conhecemos há muitos anos."

A IA não deve ignorar o gênero, mas sim adotar uma abordagem "sensível ao gênero".

A Organização para a Cooperação e Desenvolvimento Econômico

Em certas situações, considerar as diferenças de gênero pode melhorar a qualidade dos serviços de IA. Por exemplo, em áreas comosaúde mental,educaçãoe aconselhamento de carreira, os usuários de diferentes gêneros podem ter necessidades distintas.

Suponha que um estudante use o ChatGPT para obter dicas de estudo; ao compreender o gênero do usuário, a IA poderia recomendar recursos de aprendizado mais adequados ao histórico e interesses do usuário, ou fazer sugestões que correspondam às suas necessidades sociais.

Christine Exleye seus colegas da Universidade de Harvard realizaram um estudo. Eles examinaram como as mulheres tendem a minimizar suas realizações e se promovem menos do que os homens. No contexto da IA e do ChatGPT, essas dinâmicas de gênero podem influenciar como os usuários recebem as respostas e interpretam as informações fornecidas, já que os modelos de IA geralmente refletem os preconceitos presentes em seus dados de treinamento. Como Exley destaca, resolver esse problema exige mais do que incentivar as mulheres a serem "mais confiantes". Trata-se de mudar as instituições e estruturas que moldam as expectativas de gênero e desafiar as normas sociais subjacentes que alimentam essas diferenças.

As mulheres tendem a minimizar suas realizações e se promovem menos do que os homens, mesmo quando suas realizações são objetivamente iguais.

Christine Exley, professora da Universidade de Harvard

Desafios éticos da consciência de gênero: os estereótipos poderiam ser reforçados?

Apesar dos potenciais benefícios da "consciência de gênero", ela pode inadvertidamente reforçar estereótipos. De acordo com relatórios de organizações como aOCDEe aIBM, embora a IA tenha o potencial de mitigar as desigualdades de gênero, também pode reforçar estereótipos se for mal gerenciada. Como mencionado anteriormente, quando o ChatGPT tenta reconhecer e se adaptar ao gênero de um usuário, ele pode fazer julgamentos com base nas normas sociais presentes nos dados de treinamento. Se o modelo sugerir recomendações de carreira diferentes dependendo do gênero, pode inadvertidamente transmitir preconceitos de gênero de conceitos tradicionais, como a suposição de que o setor de tecnologia é mais adequado para homens, enquanto a educação ou as humanidades são mais adequadas para mulheres.

Esse problema é particularmente preocupante em contextos de carreira e educação. Por um lado, uma consciência de gênero personalizada pode oferecer uma experiência mais adaptada às necessidades dos usuários; por outro lado, esse reconhecimento e ajuste podem reforçar estereótipos de gênero, especialmente quando a IA faz sugestões baseadas em crenças prevalecentes.

Portanto, a introdução da consciência de gênero também traz novos desafios: como equilibrar justiça e diversidade no ChatGPT?

Leia também:Geradores de imagens de IA frequentemente produzem resultados racistas e sexistas: é possível corrigir isso?

Reflexões sobre o futuro

À medida que a tecnologia de IA continua a evoluir, podemos razoavelmente esperar que os esforços gradualmente abordem o problema do viés da IA. No entanto, a questão-chave permanece: como projetar uma IA que mantenha objetividade e neutralidade, ao mesmo tempo que seja sensível e adaptável à diversidade de gênero? A IA do futuro talvez precise encontrar um novo equilíbrio entre igualdade e personalização.

A questão dos preconceitos de gênero no ChatGPT nos lembra que a IA não é uma ferramenta completamente neutra, mas um produto influenciado por seus dados e pela sociedade. Embora possa ser impossível eliminar completamente os preconceitos de gênero, as versões futuras do ChatGPT podem alcançar mais justiça incorporando dados diversos, usando prompts transparentes e implementando mecanismos de feedback dos usuários.

Ao mesmo tempo, para cada usuário do ChatGPT e de outras ferramentas de IA, é importante entender os limites da IA e manter um espírito crítico para lidar com esse problema. Em outras palavras, devemos permanecer vigilantes, não confiar cegamente nas respostas da IA, mas estar cientes dos potenciais preconceitos subjacentes a elas.

À medida que nos tornamos cada vez mais dependentes da IA, a igualdade de gênero não é apenas uma questão técnica, mas também ética, que requer uma discussão coletiva na sociedade. Como a IA se tornará uma tecnologia mais inclusiva e diversificada no futuro terá impactos profundos em nossas interações diárias, nossos valores e nossa compreensão da "igualdade de gênero".

Resposta do Quiz

B. A maioria dos modelos de IA é treinada com dados que contêm preconceitos de gênero