Sexism in ChatGPT: How does AI’s hidden bias impact us?

• Les biais de genre dans les modèles d’IA comme ChatGPT suscitent des inquiétudes quant au fait que certaines réponses peuvent involontairement véhiculer des stéréotypes de genre
• Malgré les efforts des développeurs pour réduire les biais, les biais de données et les différences culturelles rendent toujours difficile l’atteinte de l’égalité des genres
• Une transparence accrue et des mécanismes de retour utilisateur sont la voie de l’amélioration, et l’IA doit trouver un équilibre entre la réduction des biais et des expériences personnalisées

Amazon a développé un outil d’IA en 2014 pour présélectionner les candidats, dans le but de simplifier le processus de recrutement à l’aide de l’IA. Cependant, l’entreprise a rapidement découvert que le système de recrutement par IA avait tendance à évaluer moins bien les candidates féminines, en particulier pour les postes techniques.

Les tests du système de recrutement par Amazon ont révélé que l’IA présentait un biais injuste contre les candidates féminines. Cette découverte a choqué l’industrie technologique. Bien qu’Amazon ait lourdement investi dans le développement d’un outil d’IA pour présélectionner les candidats, l’entreprise a finalement abandonné cet outil en raison de son biais implicite contre les femmes. Ce cas a mis en évidence que les systèmes d’IA peuvent « involontairement » être porteurs de discrimination de genre, même lorsque les intentions des concepteurs sont neutres. Voir aussi: Ziggo Group nomme ses dirigeants avant l'introduction en Bourse à Amsterdam en 2027.

La technologie de l’IA transforme rapidement notre façon d’interagir avec le monde, mais la question des biais de genre reste omniprésente. Nous ne pouvons ignorer ce phénomène, car il va au-delà des interactions individuelles et façonne subtilement nos perceptions sociales. Voir aussi: Alejandro Estua.

Cela soulève une question importante: les modèles de langage comme ChatGPT reflètent-ils aussi involontairement les biais de genre présents dans la société ? Dans nos interactions quotidiennes avec l’IA, comment ces biais pourraient-ils influencer nos croyances et nos décisions ?

Lire aussi: Le double sexisme de la voix aguicheuse « Her » de ChatGPT

Le biais inconscient de ChatGPT (IA)

ChatGPT est conçu pour fournir des réponses neutres et objectives, mais ses réponses sont-elles vraiment exemptes de biais de genre ? Les modèles d’IA s’appuient principalement sur des ensembles de données à grande échelle pour leur entraînement, contenant souvent du texte provenant des réseaux sociaux, des sites web et d’autres sources publiques. Lorsque ce texte reflète les biais de genre sociétaux, les modèles d’IA peuvent involontairement reproduire ces « biais inconscients » dans leurs réponses. Voir aussi: Alejandro Manzo.

Lors de certains tests, nous avons constaté que ChatGPT a tendance à utiliser un genre particulier pour représenter des professions ou des rôles spécifiques dans certaines réponses. Un exemple est lorsque les utilisateurs demandent à ChatGPT d’identifier qui pourrait être le mieux adapté à des postes d’infirmier ou de cadre. ChatGPT peut subtilement pencher vers des réponses façonnées par des stéréotypes de genre. Ces biais nuancés, bien que moins flagrants que le langage discriminatoire traditionnel, peuvent néanmoins influencer les perceptions et la prise de décision des utilisateurs. Voir aussi: Alejandro Hernandez.

Comment devrions-nous comprendre le biais de genre dans ChatGPT ? Certains utilisateurs peuvent ne pas remarquer immédiatement ces différences subtiles, car les réponses de ChatGPT semblent souvent objectives. Cependant, le problème réside dans son « biais inconscient ». Bien que l’IA n’ait pas de perspective de genre réelle, elle reflète inconsciemment des stéréotypes profondément ancrés présents dans ses données d’entraînement. Cela affecte non seulement les perceptions des utilisateurs, mais peut également créer une nouvelle « boucle de rétroaction » de biais. C’est-à-dire que les utilisateurs intériorisent les informations biaisées de l’IA, renforçant ces opinions dans la vie réelle, ce qui approfondit à son tour les biais dans les données. « Après qu’un modèle a appris à partir de données biaisées et est redéployé, le biais du modèle dans la génération de nouvelles données peut être encore renforcé, créant ce que l’on appelle un “effet d’amplification des biais” », déclare Rohan Taori, docteur en informatique, Université Stanford.

En ce qui concerne les boucles de rétroaction et les biais dans l’IA, les informaticiens soulignent que les boucles de rétroaction des données peuvent renforcer les biais préexistants dans les ensembles de données. Voir aussi: Alejandro Garza.

Après qu’un modèle a appris à partir de données biaisées et est redéployé, le biais du modèle dans la génération de nouvelles données peut être encore renforcé, créant ce que l’on appelle un « effet d’amplification des biais » Voir aussi: Alejandro Guerrero.

Rohan Taori, docteur en informatique, Université Stanford

Lire aussi: Une nouvelle étude trouve que ChatGPT est assez biaisé par le genre

Pourquoi l’égalité des genres dans ChatGPT est-elle si difficile à atteindre ?

Les développeurs conçoivent de grands modèles de langage comme ChatGPT dans le but de répondre à divers besoins conversationnels. Et de fournir ensuite une large gamme d’informations et de soutien. Voir aussi: Alec Gramont.

Cependant, il convient de noter que les données d’entraînement de ChatGPT couvrent une grande quantité de contenu web et de textes publics. Et le contenu lui-même reflète souvent les biais de genre présents dans la société. Même si OpenAI essaie de filtrer des données plus équilibrées et diversifiées, de nombreux biais restent cachés dans un langage subtil. Par exemple, les réponses du modèle véhiculent discrètement certains stéréotypes sur les professions, les capacités et la personnalité. Ruhi Khan, chercheuse ESRC à la LSE, a souligné que les pronoms masculins étaient moins susceptibles d’être associés aux professions traditionnellement féminines, et que les pronoms féminins étaient souvent liés à des rôles de soin ou moins techniques.

Dans le même temps, les utilisateurs de ChatGPT viennent du monde entier, chacun avec des perspectives de genre, des origines culturelles et des normes sociales différentes. ChatGPT peine à équilibrer avec précision ces différences culturelles, en veillant à ce que chaque utilisateur puisse avoir une expérience conversationnelle appropriée et sans biais. Voir aussi: La chipflation de l'IA met sous pression les fabricants d'appareils au-delà des centres de données.

Pour réduire les biais de genre, l’équipe de développement de ChatGPT pourrait intégrer davantage de stratégies de dé-biais dans le texte généré par le modèle. Il y a cependant des défis. Des conversations trop neutres peuvent sembler « froides » ou « formulaires », manquant de la personnalité et du naturel de l’interaction.

Cela soulève également une autre question centrale: devrions-nous éliminer complètement les biais, ou équilibrer les différents traits de genre tout en respectant la diversité ? La technologie actuelle de l’IA n’a pas encore parfaitement résolu ce problème, mais nous pouvons rendre l’IA plus proche de la neutralité en renforçant les directives éthiques et en augmentant la transparence technologique.

Lire aussi: Une étude approfondie de ChatGPT: avancées, limites et considérations éthiques dans le traitement du langage naturel et la cybersécurité

PopQuiz

Quelle est la raison principale pour laquelle les modèles de langage comme ChatGPT peuvent présenter des biais lorsqu’ils traitent des sujets liés au genre ?

A. Les concepteurs ont intentionnellement inclus des algorithmes biaisés en matière de genre

B. La plupart des modèles d’IA sont entraînés à l’aide de données contenant des biais de genre

C. Les modèles d’IA génèrent automatiquement des biais de genre sans aucune donnée

D. ChatGPT est conçu spécifiquement pour un genre particulier, donc il est biaisé

(La réponse correcte se trouve en bas de l’article)

La « conscience de genre » dans ChatGPT: une égalité nécessaire ou un nouveau défi ?

Nous pouvons considérer l’introduction d’une « conscience de genre » dans ChatGPT comme une arme à double tranchant. D’une part, cela permet au modèle de mieux s’adapter aux besoins des utilisateurs dans certains scénarios spécifiques, en fournissant des services détaillés et personnalisés. D’autre part, une mise en œuvre négligente de la reconnaissance de genre et des ajustements de l’IA pourrait soulever des problèmes éthiques et même aggraver involontairement les biais de genre. Comme l’a souligné la chercheuse en IA Kate Crawford, « Les systèmes d’IA ne sont pas neutres. Ils sont souvent profondément enracinés dans les normes sociales et, lorsqu’ils ne sont pas soigneusement conçus, ils peuvent exacerber les inégalités existantes. » Cette citation de Kate Crawford souligne que l’IA n’est pas neutre. En particulier dans des domaines sensibles tels que le genre. Si elle n’est pas conçue correctement, elle peut exacerber les inégalités dans la société.

Des chercheurs comme le Dr Moatsum Alawida soulignent que l’élimination des biais sans sacrifier l’authenticité des conversations reste un défi complexe et permanent dans le développement de l’IA. Il a fait remarquer que « Supprimer les biais sans sacrifier le réalisme conversationnel reste un défi complexe et permanent dans le développement de l’IA ».

Supprimer les biais sans sacrifier le réalisme conversationnel reste un défi complexe et permanent dans le développement de l’IA

Dr Moatsum Alawida, professeur adjoint de cybersécurité, Université d’ABU Dhabi

Ce qui suit explorera en profondeur la nécessité et les risques de la « conscience de genre » dans l’IA.

Comment la conscience de genre améliore-t-elle les expériences personnalisées ?

Une nouvelle perspective suggère que l’IA ne devrait pas ignorer complètement le genre, mais plutôt nécessiter une « conscience de genre » plus nuancée. Cette conscience peut non seulement aider à éviter les biais, mais aussi fournir des réponses plus personnalisées et détaillées dans des contextes spécifiques. Lorsqu’ils discutent de l’IA et du genre, certains experts affirment que l’IA ne devrait pas ignorer complètement le genre. Au lieu de cela, une approche « consciente du genre » devrait être adoptée. Cette perspective souligne l’importance de reconnaître les implications des biais de genre dans les systèmes d’IA et de prendre des mesures pour aborder consciemment ces problèmes. Selon des rapports d’organisations telles que l’OCDE et IBM, bien que l’IA ait le potentiel de réduire les inégalités de genre. Mais si elle est mal gérée, elle peut aussi renforcer les stéréotypes. L’OCDE a souligné que l’IA ne devrait pas ignorer entièrement le genre, mais plutôt adopter une approche « consciente du genre ».

De plus, Sara Sterlie, chercheuse à l’Université technique du Danemark (DTU), a déclaré: « Nous nous attendions à certains biais de genre, car ChatGPT est formé sur du matériel provenant d’Internet qui, dans une certaine mesure, reflète les stéréotypes de genre que nous connaissons depuis de nombreuses années. »

L’IA ne devrait pas ignorer entièrement le genre, mais plutôt adopter une approche « consciente du genre »

L’Organisation de coopération et de développement économiques

Dans certaines situations, la prise en compte des différences de genre peut améliorer la qualité des services d’IA. Par exemple, dans des domaines tels que la santé mentale, l’éducation et les conseils de carrière, les utilisateurs de différents genres peuvent avoir des besoins variés.

Supposons qu’un étudiant utilise ChatGPT pour demander des conseils d’étude; en comprenant le genre de l’utilisateur, l’IA peut être en mesure de recommander des ressources d’étude mieux adaptées à sa formation et à ses intérêts, ou de fournir des suggestions qui correspondent à ses besoins sociaux.

Christine Exley et ses collègues de l’Université Harvard ont mené une étude. Ils ont exploré comment les femmes ont tendance à minimiser leurs réalisations et sont moins susceptibles de faire leur auto-promotion que les hommes. Dans le contexte de l’IA et de ChatGPT, ces dynamiques fondées sur le genre peuvent influencer la façon dont les utilisateurs reçoivent les réponses et interprètent les informations fournies. Parce que les modèles d’IA reflètent souvent les biais inclus dans leurs données d’entraînement. Comme le souligne Exley, résoudre ce problème nécessite plus que simplement encourager les femmes à être « plus confiantes ». Cela implique de changer les institutions et les cadres qui façonnent les attentes de genre. Et de remettre en question les normes sociales sous-jacentes qui motivent ces différences.

Les femmes ont tendance à minimiser leurs réalisations et sont moins susceptibles de faire leur auto-promotion que les hommes, même lorsque leur performance est objectivement égale

Christine Exley, professeure à l’Université Harvard

Les défis éthiques de la conscience de genre: les stéréotypes pourraient-ils être renforcés ?

Cependant, malgré les avantages potentiels de la « conscience de genre », elle peut involontairement renforcer les stéréotypes. Selon des rapports d’organisations telles que l’OCDE et IBM, bien que l’IA ait le potentiel d’atténuer les inégalités de genre, elle a également le potentiel de renforcer les stéréotypes si elle est mal gérée. Comme mentionné précédemment, lorsque ChatGPT tente de reconnaître et de s’adapter au genre d’un utilisateur, il peut porter des jugements basés sur les normes sociétales prédominantes dans les données d’entraînement. Par exemple, si le modèle propose des recommandations de carrière différentes selon le genre, il peut involontairement véhiculer des biais de genre issus de conceptions traditionnelles, comme suggérer que le secteur de la technologie est plus adapté aux hommes, tandis que les domaines de l’éducation ou des sciences humaines sont mieux adaptés aux femmes.

Cette question est particulièrement préoccupante dans les contextes de carrière et d’éducation. D’une part, une conscience de genre personnalisée peut offrir une expérience plus adaptée qui répond aux besoins des utilisateurs; d’autre part, cette reconnaissance et cette adaptation peuvent renforcer les stéréotypes de genre, surtout lorsque l’IA fait des suggestions différenciées selon le genre en fonction de croyances dominantes.

Par conséquent, l’introduction de la conscience de genre apporte également de nouveaux défis: comment équilibrer l’équité et la diversité dans ChatGPT ?

Lire aussi: Les générateurs d’images IA donnent souvent des résultats racistes et sexistes: peuvent-ils être corrigés ?

Penser à l’avenir

À mesure que la technologie de l’IA continue de se développer, nous pouvons raisonnablement croire que les efforts permettront de résoudre progressivement le problème des biais de l’IA. Cependant, la question clé demeure: comment devrions-nous concevoir l’IA pour qu’elle puisse maintenir son objectivité et sa neutralité tout en étant sensible et adaptable à la diversité des genres ? L’IA du futur devra peut-être trouver un nouvel équilibre entre égalité et personnalisation.

Le problème des biais de genre dans ChatGPT nous rappelle que l’IA n’est pas un outil complètement neutre, mais plutôt un produit influencé par ses données et la société. Bien qu’il soit peut-être impossible d’éliminer totalement les biais de genre, les futures versions de ChatGPT peuvent atteindre une plus grande équité en intégrant des données diversifiées, en utilisant des invites transparentes et en mettant en œuvre des mécanismes de retour des utilisateurs.

En même temps, pour chaque utilisateur de ChatGPT et d’autres outils d’IA, comprendre les limites de l’IA et maintenir une pensée critique est essentiel pour aborder cette question. En d’autres termes, nous devons rester vigilants, ne pas nous fier aveuglément aux réponses de l’IA, mais plutôt être conscients des biais potentiels qui les sous-tendent.

À mesure que nous dépendons de plus en plus de l’IA, l’égalité des genres n’est pas seulement une question technique, mais aussi une question éthique qui nécessite la discussion collective de la société. La façon dont l’IA deviendra une technologie plus inclusive et diversifiée à l’avenir aura un impact profond sur nos interactions quotidiennes, nos valeurs et notre compréhension de « l’égalité des genres ».

Réponse du quiz

B. La plupart des modèles d’IA sont entraînés à l’aide de données contenant des biais de genre