Sexismo en ChatGPT: ¿Cómo nos afecta el sesgo oculto de la IA?

• El sesgo de género en modelos de IA como ChatGPT genera preocupación de que algunas respuestas puedan transmitir inadvertidamente estereotipos de género
• A pesar de los esfuerzos de los desarrolladores por reducir el sesgo, el sesgo en los datos y las diferencias culturales aún dificultan alcanzar la igualdad de género
• Una mayor transparencia y mecanismos de retroalimentación de usuarios son el camino a seguir, y la IA necesita equilibrar la eliminación de sesgos con experiencias personalizadas

Amazondesarrolló una herramienta de IA en 2014 para evaluar candidatos, con el objetivo de simplificar el proceso de contratación mediante IA. Sin embargo, la empresa pronto descubrió que el sistema de reclutamiento tendía a calificar peor a las mujeres candidatas, especialmente para puestos técnicos.

Las pruebas de Amazon revelaron que la IA mostraba un sesgo injusto contra las candidatas. Este hallazgo conmocionó a la industria tecnológica. A pesar de la fuerte inversión de Amazon, la empresa abandonó finalmente la herramienta debido a su sesgo implícito contra las mujeres. Este caso evidenció que los sistemas de IA pueden ‘involuntariamente’ perpetuar la discriminación de género, incluso cuando las intenciones de los diseñadores son neutrales.

La tecnología de IA está transformando rápidamente nuestra interacción con el mundo, pero el problema del sesgo de género sigue siendo generalizado. No podemos ignorar este fenómeno, ya que va más allá de las interacciones individuales y moldea sutilmente nuestras percepciones sociales.

Esto plantea una pregunta importante: ¿Los modelos de lenguaje comoChatGPTtambién reflejan involuntariamente lossesgos de géneropresentes en la sociedad? En nuestras interacciones cotidianas con la IA, ¿cómo podrían estos sesgos influir en nuestras creencias y decisiones?

Lea también:El doble sexismo de la voz coqueta “Her” de ChatGPT

Sesgo inconsciente de ChatGPT (IA)

ChatGPT está diseñado para proporcionar respuestas neutrales y objetivas, pero ¿están sus respuestas realmente libres de sesgo de género? Los modelos de IA se basan principalmente en grandes conjuntos de datos para el entrenamiento, que a menudo contienen texto de redes sociales, sitios web y otras fuentes públicas. Cuando este texto refleja los sesgos de género de la sociedad, los modelos de IA pueden reproducir involuntariamente estos ‘sesgos inconscientes’ en sus respuestas.

En algunas pruebas, descubrimos que ChatGPT tiende a usar un género particular para representar profesiones o roles específicos en ciertas respuestas. Un ejemplo es cuando los usuarios preguntan a ChatGPT quién podría ser más adecuado para roles de enfermería o puestos ejecutivos. ChatGPT puede inclinarse sutilmente hacia respuestas moldeadas por estereotipos de género. Estos sesgos matizados, aunque menos evidentes que el lenguaje discriminatorio tradicional, aún pueden afectar las percepciones y la toma de decisiones de los usuarios.

¿Cómo debemos entender el sesgo de género en ChatGPT? Algunos usuarios pueden no notar inmediatamente estas diferencias sutiles, ya que las respuestas de ChatGPT a menudo parecen objetivas. Sin embargo, el problema radica en su ‘sesgo inconsciente’. Aunque la IA carece de una perspectiva de género real, refleja inconscientemente estereotipos profundamente arraigados presentes en sus datos de entrenamiento. Esto no solo afecta las percepciones de los usuarios, sino que también puede crear un nuevo ‘bucle de retroalimentación’ de sesgo. Es decir, los usuarios internalizan la información sesgada de la IA, reforzando estas opiniones en la vida real, lo que a su vez profundiza los sesgos en los datos. “Después de que un modelo aprende de datos sesgados y se vuelve a implementar, el sesgo del modelo en la generación de nuevos datos puede reforzarse aún más, creando lo que se conoce como un ‘efecto de amplificación del sesgo’”, diceRohan Taori, doctor en informática,Universidad de Stanford.

En cuanto a los bucles de retroalimentación y el sesgo en la IA, los científicos informáticos enfatizan que los bucles de retroalimentación de datos pueden reforzar los sesgos preexistentes en los conjuntos de datos.

Después de que un modelo aprende de datos sesgados y se vuelve a implementar, el sesgo del modelo en la generación de nuevos datos puede reforzarse aún más, creando lo que se conoce como un ‘efecto de amplificación del sesgo’

Rohan Taori, doctor en informática, Universidad de Stanford

Lea también:Un nuevo estudio encuentra que ChatGPT tiene un sesgo de género considerable

¿Por qué es tan difícil lograr la igualdad de género en ChatGPT?

Los desarrolladores diseñan modelos de lenguaje grandes como ChatGPT con el objetivo de satisfacer diversas necesidades conversacionales y proporcionar una amplia gama de información y soporte.

Sin embargo, vale la pena señalar que los datos de entrenamiento de ChatGPT cubren una gran cantidad de contenido web y texto público. Y el contenido en sí mismo a menudo refleja los sesgos de género de la sociedad. Incluso cuandoOpenAIintenta filtrar datos más equilibrados y diversos, muchos sesgos permanecen ocultos en un lenguaje sutil. Por ejemplo, las respuestas del modelo contienen silenciosamente algunos estereotipos sobre ocupaciones, habilidades y personalidades.Ruhi Khan, investigadora del ESRC en laLSE, señaló que los pronombres masculinos tenían menos probabilidades de asociarse con profesiones tradicionalmente femeninas, y los pronombres femeninos a menudo se vinculaban con roles de crianza o menos técnicos.

Al mismo tiempo, los usuarios de ChatGPT provienen de todo el mundo, cada uno con diferentes perspectivas de género, antecedentes culturales y normas sociales. ChatGPT lucha por equilibrar con precisión estas diferencias culturales, asegurando que cada usuario pueda tener una experiencia de conversación adecuada y sin sesgos.

Para reducir el sesgo de género, el equipo de desarrollo de ChatGPT podría incorporar más estrategias de eliminación de sesgos en el texto generado por el modelo. Sin embargo, hay desafíos. Las conversaciones demasiado neutrales pueden parecer ‘frías’ o ‘formuladas’, careciendo de personalidad y naturalidad en la interacción.

Esto también plantea otro problema central: ¿deberíamos eliminar completamente el sesgo o equilibrar diferentes rasgos de género respetando la diversidad? La tecnología de IA actual aún no ha abordado perfectamente este problema, pero podemos acercar la IA a la neutralidad fortaleciendo las pautas éticas y aumentando la transparencia tecnológica.

Lea también:Un estudio exhaustivo de ChatGPT: avances, limitaciones y consideraciones éticas en procesamiento del lenguaje natural y ciberseguridad

Cuestionario

¿Cuál es la razón principal por la que los modelos de lenguaje como ChatGPT pueden mostrar sesgo al tratar temas relacionados con el género?

A. Los diseñadores incluyeron intencionalmente algoritmos sesgados por género

B. La mayoría de los modelos de IA se entrenan con datos que contienen sesgo de género

C. Los modelos de IA generan automáticamente sesgo de género sin ningún dato

D. ChatGPT está diseñado específicamente para un género determinado, por lo que está sesgado

(La respuesta correcta está al final del artículo)

‘Conciencia de género’ en ChatGPT: ¿Igualdad necesaria o un nuevo desafío?

Podemos ver la introducción de la ‘conciencia de género’ en ChatGPT como un arma de doble filo. Por un lado, permite que el modelo se adapte mejor a las necesidades del usuario en ciertos escenarios específicos, brindando servicios detallados y personalizados. Por otro lado, la implementación descuidada del reconocimiento y los ajustes de género de la IA podría plantear problemas éticos e incluso empeorar involuntariamente el sesgo de género. Como señaló la investigadora de IAKate Crawford: “Los sistemas de IA no son neutrales. A menudo están profundamente arraigados en las normas sociales y, cuando no se diseñan cuidadosamente, pueden exacerbar las desigualdades existentes”. Esta cita de Kate Crawford subraya que la IA no es neutral. Especialmente en áreas sensibles como el género. Si no se diseña adecuadamente, puede exacerbar la desigualdad en la sociedad.

Investigadores como el Dr.Moatsum Alawidadestacan que eliminar el sesgo sin sacrificar la autenticidad de las conversaciones sigue siendo un desafío complejo y continuo en el desarrollo de la IA. Señaló que “Eliminar sesgos sin sacrificar el realismo conversacional sigue siendo un desafío complejo y continuo en el desarrollo de la IA”.

Eliminar sesgos sin sacrificar el realismo conversacional sigue siendo un desafío complejo y continuo en el desarrollo de la IA

Dr. Moatsum Alawida, profesor asistente de Ciberseguridad, Universidad de ABU Dhabi

A continuación, profundizaremos en la necesidad y los riesgos de la ‘conciencia de género’ en la IA.

¿Cómo mejora la conciencia de género las experiencias personalizadas?

Una nueva perspectiva sugiere que la IA no debería ignorar por completo el género, sino que requiere una ‘conciencia de género’ más matizada. Esta conciencia no solo puede ayudar a evitar sesgos, sino también proporcionar respuestas más personalizadas y detalladas en contextos específicos. Al discutir sobre IA y género, algunos expertos argumentan que la IA no debería ignorar completamente el género. En cambio, se debería adoptar un enfoque “consciente del género”. Esta perspectiva subraya la importancia de reconocer las implicaciones del sesgo de género en los sistemas de IA y tomar medidas para abordar estos problemas de manera consciente. Según informes de organizaciones como laOECDeIBM, aunque la IA tiene el potencial de reducir la desigualdad de género, si se gestiona mal, también puede reforzar los estereotipos. La OECD señaló que la IA no debería ignorar el género por completo, sino adoptar un enfoque ‘consciente del género’.

Además,Sara Sterlie, investigadora de la Universidad Técnica de Dinamarca (DTU), dijo: “Esperábamos cierto sesgo de género, ya que ChatGPT está entrenado con material de Internet que, en cierta medida, refleja los estereotipos de género que conocemos desde hace muchos años”.

La IA no debería ignorar el género por completo, sino adoptar un enfoque ‘consciente del género’

The Organisation for Economic Co-operation and Development

En ciertas situaciones, considerar las diferencias de género puede mejorar la calidad de los servicios de IA. Por ejemplo, en áreas como lasalud mental, laeducacióny el asesoramiento profesional, los usuarios de diferentes géneros pueden tener necesidades variadas.

Supongamos que un estudiante está usando ChatGPT para buscar consejos de estudio; al comprender el género del usuario, la IA podría recomendar recursos de estudio más adecuados a sus antecedentes e intereses, o proporcionar sugerencias que se alineen con las necesidades sociales del usuario.

Christine Exleyy sus colegas de la Universidad de Harvard realizaron un estudio. Exploraron cómo las mujeres tienden a restar importancia a sus logros y son menos propensas a autopromocionarse que los hombres. En el contexto de la IA y ChatGPT, estas dinámicas basadas en el género pueden influir en la forma en que los usuarios reciben respuestas e interpretan la información proporcionada. Porque los modelos de IA a menudo reflejan sesgos incrustados en sus datos de entrenamiento. Como señala Exley, resolver este problema requiere más que simplemente alentar a las mujeres a ser “más seguras”. Implica cambiar las instituciones y los marcos que dan forma a las expectativas de género. Y desafiar las normas sociales subyacentes que impulsan estas diferencias.

Las mujeres tienden a restar importancia a sus logros y son menos propensas a autopromocionarse en comparación con los hombres, incluso cuando su desempeño es objetivamente igual

Christine Exley, profesora de la Universidad de Harvard

Desafíos éticos de la conciencia de género: ¿Podrían reforzarse los estereotipos?

Sin embargo, a pesar de las posibles ventajas de la ‘conciencia de género’, puede reforzar involuntariamente los estereotipos. Según informes de organizaciones como la OECD e IBM, si bien la IA tiene el potencial de mitigar la desigualdad de género, también tiene el potencial de reforzar los estereotipos si se gestiona mal. Como se mencionó anteriormente, cuando ChatGPT intenta reconocer y adaptarse al género de un usuario, puede hacer juicios basados en las normas sociales prevalentes en los datos de entrenamiento.

Por ejemplo, si el modelo ofrece diferentes recomendaciones profesionales basadas en el género, puede transmitir inadvertidamente sesgos de género de puntos de vista tradicionales, como sugerir que la industria tecnológica es más adecuada para los hombres, mientras que los campos de la educación o las humanidades son más adecuados para las mujeres.

Esta cuestión es particularmente preocupante en contextos profesionales y educativos. Por un lado, la conciencia de género personalizada puede proporcionar una experiencia más adaptada que satisfaga las necesidades de los usuarios; por otro lado, este reconocimiento y adaptación pueden reforzar los estereotipos de género, especialmente cuando la IA hace sugerencias diferenciadas por género basadas en creencias mayoritarias.

Por lo tanto, la introducción de la conciencia de género también trae nuevos desafíos: ¿cómo equilibrar la equidad y la diversidad en ChatGPT?

Lea también:Los generadores de imágenes de IA a menudo dan resultados racistas y sexistas: ¿se pueden corregir?

Pensando en el futuro

A medida que la tecnología de IA continúa desarrollándose, podemos creer razonablemente que los esfuerzos abordarán gradualmente el problema del sesgo de la IA. Sin embargo, la pregunta clave sigue siendo: ¿cómo deberíamos diseñar la IA para que pueda mantener la objetividad y la neutralidad siendo sensible y adaptable a la diversidad de género? Es posible que la IA del futuro necesite encontrar un nuevo equilibrio entre igualdad y personalización.

El problema del sesgo de género en ChatGPT sirve como recordatorio de que la IA no es una herramienta completamente neutral, sino más bien un producto influenciado por sus datos y la sociedad. Aunque eliminar por completo el sesgo de género puede ser imposible, las versiones futuras de ChatGPT pueden lograr una mayor equidad incorporando datos diversificados, utilizando indicaciones transparentes e implementando mecanismos de retroalimentación de los usuarios.

Al mismo tiempo, para cada usuario de ChatGPT y otras herramientas de IA, comprender las limitaciones de la IA y mantener un pensamiento crítico son clave para abordar este problema. En otras palabras, debemos permanecer atentos, no confiar ciegamente en las respuestas de la IA, sino ser conscientes de los posibles sesgos detrás de ellas.

A medida que dependemos cada vez más de la IA, la igualdad de género no es solo un problema técnico, sino también ético que requiere la discusión colectiva de la sociedad. La forma en que la IA se convierta en una tecnología más inclusiva y diversa en el futuro afectará profundamente nuestras interacciones diarias, valores y nuestra comprensión de la “igualdad de género”.

Respuesta del cuestionario

B. La mayoría de los modelos de IA se entrenan con datos que contienen sesgo de género