Le sexisme dans ChatGPT: comment les biais cachés de l'IA nous impactent-ils?

• Les biais de genre dans les modèles d'IA comme ChatGPT suscitent des inquiétudes: certaines réponses pourraient véhiculer involontairement des stéréotypes de genre
• Malgré les efforts des développeurs pour réduire les biais, les biais dans les données et les différences culturelles rendent l'égalité des genres difficile à atteindre
• Une transparence accrue et des mécanismes de retour des utilisateurs sont la voie d'amélioration, et l'IA doit trouver un équilibre entre la réduction des biais et les expériences personnalisées

Amazona développé en 2014 un outil d'IA pour filtrer les candidates, visant à simplifier le processus de recrutement grâce à l'IA. Cependant, l'entreprise a rapidement découvert que le système de recrutement IA avait tendance à évaluer plus négativement les candidates féminines, en particulier pour les postes techniques.

Les tests d'Amazon ont révélé que l'IA présentait un biais injuste envers les candidates. Cette découverte a choqué l'industrie technologique. Malgré les lourds investissements d'Amazon dans le développement de cet outil, l'entreprise l'a finalement abandonné en raison de ses biais implicites contre les femmes. Ce cas a mis en évidence que les systèmes d'IA peuvent être porteurs de discrimination de genre « involontaire », même lorsque les intentions des concepteurs sont neutres.

L'IA transforme rapidement notre façon d'interagir avec le monde, mais le problème des biais de genre reste omniprésent. Nous ne pouvons ignorer ce phénomène, car il dépasse les interactions individuelles et façonne subtilement nos perceptions sociales.

Cela soulève une question importante: les modèles de langage commeChatGPTreflètent-ils aussi involontairement lesbiais de genreprésents dans la société? Dans nos interactions quotidiennes avec l'IA, comment ces biais pourraient-ils influencer nos croyances et nos décisions?

À lire aussi:Le double sexisme de la voix séductrice « Her » de ChatGPT

Les biais inconscients de ChatGPT (IA)

ChatGPT est conçu pour fournir des réponses neutres et objectives, mais ses réponses sont-elles vraiment exemptes de biais de genre? Les modèles d'IA s'appuient principalement sur de vastes ensembles de données pour l'entraînement, contenant souvent du texte provenant des réseaux sociaux, de sites Web et d'autres sources publiques. Lorsque ce texte reflète les biais de genre de la société, les modèles d'IA peuvent reproduire involontairement ces « biais inconscients » dans leurs réponses.

Dans certains tests, nous avons constaté que ChatGPT a tendance à utiliser un genre particulier pour représenter certaines professions ou rôles. Par exemple, lorsque les utilisateurs demandent à ChatGPT d'identifier qui serait le mieux adapté à des postes d'infirmier ou de cadre dirigeant, ChatGPT peut pencher subtilement vers des réponses façonnées par des stéréotypes de genre. Ces biais nuancés, bien que moins flagrants qu'un langage discriminatoire traditionnel, peuvent néanmoins influencer les perceptions et la prise de décision des utilisateurs.

Comment comprendre les biais de genre dans ChatGPT? Certains utilisateurs peuvent ne pas remarquer immédiatement ces différences subtiles, car les réponses de ChatGPT semblent souvent objectives. Cependant, le problème réside dans son « biais inconscient ». Bien que l'IA n'ait pas de perspective de genre réelle, elle reflète inconsciemment des stéréotypes profondément ancrés présents dans ses données d'entraînement. Cela affecte non seulement les perceptions des utilisateurs, mais peut aussi créer une nouvelle « boucle de rétroaction » des biais. C'est-à-dire que les utilisateurs intériorisent les informations biaisées de l'IA, renforçant ces opinions dans la vie réelle, ce qui à son tour approfondit les biais dans les données. « Après qu'un modèle a appris à partir de données biaisées et est redéployé, le biais du modèle dans la génération de nouvelles données peut être encore renforcé, créant ce que l'on appelle un « effet d'amplification des biais » », déclareRohan Taori, doctorant en informatique,université de Stanford.

En ce qui concerne les boucles de rétroaction et les biais dans l'IA, les informaticiens soulignent que les boucles de rétroaction des données peuvent renforcer les biais préexistants dans les ensembles de données.

Après qu'un modèle a appris à partir de données biaisées et est redéployé, le biais du modèle dans la génération de nouvelles données peut être encore renforcé, créant ce que l'on appelle un « effet d'amplification des biais »

Rohan Taori, doctorant en informatique, université de Stanford

À lire aussi:Une nouvelle étude révèle que ChatGPT est assez sexiste

Pourquoi l'égalité des genres dans ChatGPT est-elle si difficile à atteindre?

Les développeurs conçoivent de grands modèles de langage comme ChatGPT dans le but de répondre à divers besoins conversationnels, puis de fournir un large éventail d'informations et de soutien.

Cependant, il convient de noter que les données d'entraînement de ChatGPT couvrent une grande quantité de contenu Web et de textes publics, et ce contenu reflète souvent les biais de genre de la société. Même siOpenAIessaie de filtrer des données plus équilibrées et diversifiées, de nombreux biais restent cachés dans un langage subtil. Par exemple, les réponses du modèle véhiculent tacitement certains stéréotypes sur les professions, les capacités et les personnalités.Ruhi Khan, chercheuse ESRC à laLSE, a souligné que les pronoms masculins étaient moins susceptibles d'être associés à des professions traditionnellement féminines, et que les pronoms féminins étaient souvent liés à des rôles de soins ou moins techniques.

En même temps, les utilisateurs de ChatGPT viennent du monde entier, chacun avec des perspectives de genre, des contextes culturels et des normes sociales différents. ChatGPT peine à équilibrer précisément ces différences culturelles, pour garantir à chaque utilisateur une expérience conversationnelle appropriée et sans biais.

Pour réduire les biais de genre, l'équipe de développement de ChatGPT pourrait intégrer davantage de stratégies de dé-biaisage dans le texte généré par le modèle. Il y a cependant des défis. Des conversations trop neutres peuvent sembler « froides » ou « stéréotypées », manquant de personnalité et de naturel dans l'interaction.

Cela soulève également une autre question centrale: devrions-nous éliminer complètement les biais, ou équilibrer les différents traits de genre tout en respectant la diversité? La technologie actuelle de l'IA n'a pas encore résolu ce problème de manière parfaite, mais nous pouvons rendre l'IA plus neutre en renforçant les directives éthiques et en augmentant la transparence technologique.

À lire aussi:Une étude complète de ChatGPT: avancées, limites et considérations éthiques dans le traitement du langage naturel et la cybersécurité

Quiz

Quelle est la principale raison pour laquelle les modèles de langage comme ChatGPT peuvent présenter des biais lorsqu'ils traitent de sujets liés au genre?

A. Les concepteurs ont intentionnellement inclus des algorithmes sexistes

B. La plupart des modèles d'IA sont entraînés avec des données contenant des biais de genre

C. Les modèles d'IA génèrent automatiquement des biais de genre sans aucune donnée

D. ChatGPT est conçu spécifiquement pour un certain genre, il est donc biaisé

(La réponse correcte se trouve en bas de l'article)

La « conscience de genre » dans ChatGPT: une égalité nécessaire ou un nouveau défi?

On peut considérer l'introduction de la « conscience de genre » dans ChatGPT comme une arme à double tranchant. D'une part, cela permet au modèle de mieux répondre aux besoins des utilisateurs dans certains scénarios spécifiques, en fournissant des services détaillés et personnalisés. D'autre part, une mise en œuvre négligente de la reconnaissance et des ajustements de genre par l'IA pourrait soulever des problèmes éthiques et même aggraver involontairement les biais de genre. Comme l'a souligné la chercheuse en IAKate Crawford: « Les systèmes d'IA ne sont pas neutres. Ils sont souvent profondément ancrés dans les normes sociales, et lorsqu'ils ne sont pas soigneusement conçus, ils peuvent exacerber les inégalités existantes. » Cette citation de Kate Crawford souligne que l'IA n'est pas neutre, en particulier dans des domaines sensibles comme le genre. Si elle n'est pas conçue correctement, elle peut aggraver les inégalités dans la société.

Des chercheurs comme le DrMoatsum Alawidasoulignent que l'élimination des biais sans sacrifier l'authenticité des conversations reste un défi complexe et continu dans le développement de l'IA. Il a souligné que « Supprimer les biais sans sacrifier le réalisme conversationnel reste un défi complexe et continu dans le développement de l'IA ».

Supprimer les biais sans sacrifier le réalisme conversationnel reste un défi complexe et continu dans le développement de l'IA

Dr Moatsum Alawida, professeur assistant en cybersécurité, Université d'ABU Dhabi

Ce qui suit approfondit la nécessité et les risques de la « conscience de genre » dans l'IA.

Comment la conscience de genre améliore-t-elle les expériences personnalisées?

Une nouvelle perspective suggère que l'IA ne devrait pas totalement ignorer le genre, mais plutôt adopter une « conscience de genre » plus nuancée. Cette conscience peut non seulement aider à éviter les biais, mais aussi fournir des réponses plus personnalisées et détaillées dans des contextes spécifiques. Lorsqu'on parle d'IA et de genre, certains experts soutiennent que l'IA ne devrait pas ignorer complètement le genre, mais plutôt adopter une approche « sensible au genre ». Cette perspective souligne l'importance de reconnaître les implications des biais de genre dans les systèmes d'IA et de prendre des mesures pour aborder consciemment ces questions. Selon des rapports d'organisations telles que l'OCDEetIBM, bien que l'IA ait le potentiel de réduire les inégalités de genre, si elle est mal gérée, elle peut aussi renforcer les stéréotypes. L'OCDE a souligné que l'IA ne devrait pas ignorer le genre, mais plutôt adopter une approche « sensible au genre ».

De plus,Sara Sterlie, chercheuse à l'Université technique du Danemark (DTU), a déclaré: « Nous nous attendions à un certain biais de genre, car ChatGPT est entraîné sur du matériel provenant d'Internet qui reflète dans une certaine mesure les stéréotypes de genre que nous connaissons depuis de nombreuses années. »

L'IA ne devrait pas ignorer le genre, mais plutôt adopter une approche « sensible au genre »

L'Organisation de coopération et de développement économiques

Dans certaines situations, prendre en compte les différences de genre peut améliorer la qualité des services de l'IA. Par exemple, dans des domaines tels que lasanté mentale, l'éducationet les conseils de carrière, les utilisateurs de différents genres peuvent avoir des besoins variés.

Supposons qu'un étudiant utilise ChatGPT pour obtenir des conseils d'étude; en comprenant le genre de l'utilisateur, l'IA pourrait recommander des ressources d'étude mieux adaptées au parcours et aux intérêts de l'utilisateur, ou fournir des suggestions qui correspondent à ses besoins sociaux.

Christine Exleyet ses collègues de l'université Harvard ont mené une étude. Ils ont exploré comment les femmes ont tendance à minimiser leurs réalisations et sont moins susceptibles de se promouvoir que les hommes. Dans le contexte de l'IA et de ChatGPT, ces dynamiques basées sur le genre peuvent influencer la façon dont les utilisateurs reçoivent les réponses et interprètent les informations fournies, car les modèles d'IA reflètent souvent les biais présents dans leurs données d'entraînement. Comme le souligne Exley, résoudre ce problème nécessite plus que d'encourager les femmes à être « plus confiantes ». Cela implique de changer les institutions et les cadres qui façonnent les attentes de genre, et de remettre en question les normes sociales sous-jacentes qui alimentent ces différences.

Les femmes ont tendance à minimiser leurs réalisations et sont moins susceptibles de se promouvoir que les hommes, même lorsque leurs performances sont objectivement égales

Christine Exley, professeure à l'université Harvard

Défis éthiques de la conscience de genre: les stéréotypes pourraient-ils être renforcés?

Cependant, malgré les avantages potentiels de la « conscience de genre », elle peut involontairement renforcer les stéréotypes. Selon des rapports d'organisations telles que l'OCDEetIBM, si l'IA a le potentiel d'atténuer les inégalités de genre, elle a aussi le potentiel de renforcer les stéréotypes si elle est mal gérée. Comme mentionné précédemment, lorsque ChatGPT tente de reconnaître et de s'adapter au genre d'un utilisateur, il peut porter des jugements basés sur les normes sociales présentes dans les données d'entraînement. Par exemple, si le modèle propose des recommandations de carrière différentes selon le genre, il peut véhiculer involontairement des biais de genre issus des conceptions traditionnelles, comme suggérer que le secteur technologique est plus adapté aux hommes, tandis que l'éducation ou les sciences humaines sont mieux adaptées aux femmes.

Ce problème est particulièrement préoccupant dans les contextes de carrière et d'éducation. D'une part, une conscience de genre personnalisée peut offrir une expérience plus adaptée qui répond aux besoins des utilisateurs; d'autre part, cette reconnaissance et cette adaptation peuvent renforcer les stéréotypes de genre, en particulier lorsque l'IA fait des suggestions différenciées selon le genre basées sur des croyances dominantes.

Par conséquent, l'introduction de la conscience de genre apporte également de nouveaux défis: comment équilibrer l'équité et la diversité dans ChatGPT?

À lire aussi:Les générateurs d'images par IA donnent souvent des résultats racistes et sexistes: peut-on y remédier?

Réflexions sur l'avenir

À mesure que la technologie de l'IA continue de se développer, nous pouvons raisonnablement penser que des efforts permettront progressivement de traiter la question des biais de l'IA. Cependant, la question clé demeure: comment concevoir une IA qui puisse maintenir objectivité et neutralité tout en étant sensible et adaptable à la diversité des genres? L'IA du futur devra peut-être trouver un nouvel équilibre entre égalité et personnalisation.

La question des biais de genre dans ChatGPT nous rappelle que l'IA n'est pas un outil totalement neutre, mais plutôt un produit influencé par ses données et la société. Bien qu'il soit peut-être impossible d'éliminer complètement les biais de genre, les versions futures de ChatGPT pourront atteindre une plus grande équité en intégrant des données diversifiées, en utilisant des invites transparentes et en mettant en œuvre des mécanismes de retour des utilisateurs.

En même temps, pour chaque utilisateur de ChatGPT et d'autres outils d'IA, comprendre les limites de l'IA et garder un esprit critique sont essentiels pour aborder cette question. En d'autres termes, nous devons rester vigilants, ne pas nous fier aveuglément aux réponses de l'IA, mais être conscients des biais potentiels qui les sous-tendent.

À mesure que nous dépendons de plus en plus de l'IA, l'égalité des genres n'est pas seulement une question technique, mais aussi une question éthique qui nécessite une discussion collective au sein de la société. La manière dont l'IA deviendra une technologie plus inclusive et diversifiée à l'avenir aura un impact profond sur nos interactions quotidiennes, nos valeurs et notre compréhension de « l'égalité des genres ».

Réponse du quiz

B. La plupart des modèles d'IA sont entraînés avec des données contenant des biais de genre