Sexism in ChatGPT: How does AI’s hidden bias impact us?

• ChatGPT 等 AI 模型中的性别偏见引发担忧：某些回答可能无意中传递性别刻板印象。
• 尽管开发者努力减少偏见，数据偏见和文化差异仍使性别平等难以实现。
• 提高透明度和用户反馈机制是改进方向，AI 需要在去偏见和个性化体验之间取得平衡。

亚马逊 在 2014 年开发了一款 AI 工具用于筛选求职者，旨在利用人工智能简化招聘流程。然而，该公司很快发现，该人工智能招聘系统倾向于对女性候选人给予较低评分，尤其是技术职位。

亚马逊对招聘系统的测试显示，该 AI 对女性候选人表现出不公平的偏见。这一发现震惊了科技行业。尽管亚马逊投入巨资开发用于筛选候选人的 AI 工具，但由于该工具对女性的隐性偏见，公司最终放弃了它。这一案例突显了 AI 系统可能‘无意中’带有性别歧视，即使设计者的意图是中立的。 另见: Ziggo集团任命领导人，备战2027年阿姆斯特丹上市.

AI 技术正迅速改变我们与世界互动的方式，但性别偏见问题仍普遍存在。我们不能忽视这一现象，因为它超越了个人互动，潜移默化地塑造着我们的社会认知。 另见: Alejandro Estua.

这引出一个重要问题：像 ChatGPT 这样的语言模型是否也会无意中反映出社会中存在的性别偏见？在与 AI 的日常互动中，这些偏见可能如何影响我们的信念和决策？

另请阅读：ChatGPT 轻浮的“她”声音背后的双重性别歧视

ChatGPT（AI）的无意识偏见

ChatGPT 的设计初衷是提供中立和客观的回答，但它的答案真的没有性别偏见吗？AI 模型主要依赖大规模数据集进行训练，这些数据通常包含来自社交媒体、网站和其他公开来源的文本。当这些文本反映了社会中的性别偏见时，AI 模型可能无意中在其回答中重现这些‘无意识偏见’。 另见: 亚历杭德罗·曼佐.

在一些测试中，我们发现 ChatGPT 倾向于在某些回答中使用特定性别来代表特定职业或角色。例如，当用户询问谁更适合担任护理角色或高管职位时，ChatGPT 可能会微妙地倾向于受性别刻板印象影响的回答。这些细微的偏见虽然不如传统歧视性语言那样明显，但仍会影响用户的认知和决策。 另见: 亚历杭德罗·埃尔南德斯.

我们应该如何理解 ChatGPT 中的性别偏见？一些用户可能不会立即注意到这些细微差异，因为 ChatGPT 的回答通常显得客观。然而，问题在于其‘无意识偏见’。尽管 AI 本身没有真正的性别视角，但它会无意识地反映出训练数据中根深蒂固的刻板印象。这不仅影响用户的认知，还可能产生新的偏见‘反馈循环’。也就是说，用户内化了来自 AI 的偏见信息，在现实生活中强化这些观点，进而加深数据中的偏见。“模型从有偏见的数据中学习并重新部署后，模型在生成新数据时的偏见会进一步强化，形成所谓的‘偏见放大效应’”，Rohan Taori，斯坦福大学计算机科学博士说道。

模型从有偏见的数据中学习并重新部署后，模型在生成新数据时的偏见会进一步强化，形成所谓的‘偏见放大效应’ 另见: 亚历杭德罗·加尔萨.

Rohan Taori，斯坦福大学计算机科学博士

另请阅读：一项新研究发现 ChatGPT 存在显著的性别偏见

为什么在 ChatGPT 中实现性别平等如此困难？

开发者设计像 ChatGPT 这样的大语言模型，旨在满足多样化的对话需求，并提供广泛的信息和支持。 另见: Alejandro Guerrero.

然而，值得注意的是，ChatGPT 的训练数据涵盖了大量网络内容和公开文本，而这些内容本身往往反映了社会中的性别偏见。尽管 OpenAI 试图过滤出更平衡、更多样化的数据，但许多偏见仍隐藏在微妙的语言中。例如，模型的回答中悄然带有一些关于职业、能力和个性的刻板印象。Ruhi Khan，伦敦政治经济学院（LSE）的 ESRC 研究员指出，男性代词不太可能与传统女性职业相关联，而女性代词通常与养育性或技术含量较低的角色相关联。

同时，ChatGPT 的用户来自世界各地，每个人的性别观念、文化背景和社会规范各不相同。ChatGPT 难以精准平衡这些文化差异，确保每位用户都能获得恰当、无偏见的对话体验。 另见: Alec Gramont.

为了减少性别偏见，ChatGPT 的开发团队可以在模型生成的文本中融入更多去偏见策略。然而，挑战依然存在。过于中立的对话可能显得‘冷漠’或‘公式化’，缺乏个性化和自然的交互感。这也引出另一个核心问题：我们应该完全消除偏见，还是在尊重多样性的同时平衡不同性别特征？目前的 AI 技术尚未能完美解决这一问题，但我们可以通过加强伦理准则和提高技术透明度，使 AI 更接近中立。 另见: AI芯片通胀：设备制造商受挤压，影响超越数据中心.

另请阅读：ChatGPT 综合研究：自然语言处理和网络安全中的进展、局限性和伦理考量

小测验

ChatGPT 等语言模型在处理性别相关话题时可能表现出偏见的主要原因是什么？

A. 设计师故意加入了带有性别偏见的算法

B. 大多数 AI 模型使用包含性别偏见的数据进行训练

C. AI 模型无需任何数据即可自动产生性别偏见

D. ChatGPT 专为某一性别设计，因此存在偏见

（正确答案在文章底部）

ChatGPT 中的‘性别意识’：必要的平等还是新的挑战？

我们可以将‘性别意识’引入 ChatGPT 视为一把双刃剑。一方面，它使模型在某些特定场景下更好地满足用户需求，提供细致和个性化的服务。另一方面，不慎实施 AI 的性别识别和调整可能引发伦理问题，甚至无意中加剧性别偏见。正如 AI 研究员 Kate Crawford 所指出的：“AI 系统并非中立。它们通常深深植根于社会规范之中，如果不精心设计，可能会加剧现有的不平等。” Kate Crawford 的这句话强调 AI 并非中立，尤其是在性别等敏感领域。如果设计不当，可能加剧社会不平等。

Moatsum Alawida 博士等研究人员强调，在不牺牲对话真实性的前提下消除偏见，仍然是 AI 开发中一项复杂且持续的挑战。他指出：“在不牺牲对话真实性的情况下消除偏见，仍然是人工智能开发中一项复杂且持续的挑战。”

在不牺牲对话真实性的情况下消除偏见，仍然是人工智能开发中一项复杂且持续的挑战

Moatsum Alawida 博士，阿布扎比大学网络安全助理教授

接下来将深入探讨 AI 中‘性别意识’的必要性和风险。

性别意识如何增强个性化体验？

一种新观点认为，AI 不应完全忽略性别，而是需要一种更细致的‘性别意识’。这种意识不仅有助于避免偏见，还能在特定情境下提供更个性化、更细致的回应。在讨论 AI 与性别时，一些专家认为 AI 不应完全忽略性别，而应采取“性别有意识”的方法。这一观点强调认识到 AI 系统中性别偏见的影响，并采取有意识措施解决这些问题的重要性。根据 OECD 和 IBM 等组织的报告，尽管 AI 有潜力减少性别不平等，但如果管理不善，也可能强化刻板印象。OECD 指出，AI 不应完全忽略性别，而应采取‘性别有意识’的方法。

此外，丹麦技术大学（DTU）的研究员 Sara Sterlie 表示：“我们预期会有一些性别偏见，因为 ChatGPT 的训练材料来自互联网，这些材料在一定程度上反映了许多年来我们已知的性别刻板印象。”

AI 不应完全忽略性别，而应采取‘性别有意识’的方法

经济合作与发展组织

在某些情况下，考虑性别差异可以提高 AI 的服务质量。例如，在心理健康、教育和职业咨询等领域，不同性别的用户可能有不同的需求。

假设一名学生正在使用 ChatGPT 寻求学习建议；通过了解用户的性别，AI 可能能够推荐更适合用户背景和兴趣的学习资源，或提供符合用户社交需求的建议。

哈佛大学的 Christine Exley 及其同事进行了一项研究。他们探讨了女性倾向于淡化自己的成就，且相比男性更不善于自我推销的现象。在 AI 和 ChatGPT 的背景下，这些基于性别的动态可能影响用户接收回应和解读信息的方式。因为 AI 模型往往反映其训练数据中嵌入的偏见。正如 Exley 指出的，解决这个问题不仅仅是鼓励女性“更加自信”。它涉及改变塑造性别期望的制度和框架，并挑战驱动这些差异的深层社会规范。

即使客观表现相当，女性也倾向于淡化自己的成就，且相比男性更不善于自我推销

哈佛大学教授 Christine Exley

性别意识的伦理挑战：刻板印象会被强化吗？

然而，尽管‘性别意识’有潜在优势，它也可能无意中强化刻板印象。根据 OECD 和 IBM 等组织的报告，尽管 AI 有潜力减少性别不平等，但如果管理不善，也可能强化刻板印象。如前所述，当 ChatGPT 试图识别并适应用户性别时，它可能会根据训练数据中普遍存在的社会规范做出判断。例如，如果模型基于性别提供不同的职业建议，它可能无意中传递了传统观念中的性别偏见，比如暗示技术行业更适合男性，而教育或人文领域更适合女性。

这个问题在职业和教育领域尤为令人担忧。一方面，个性化的性别意识可能提供更贴合用户需求的定制体验；另一方面，这种识别和适应可能强化性别刻板印象，尤其是当 AI 基于主流观念提出基于性别的差异化建议时。

因此，性别意识的引入也带来了新挑战——如何在 ChatGPT 中平衡公平性与多样性？

另请阅读：AI 图像生成器经常给出种族主义和性别歧视的结果：能修复吗？

对未来的思考

随着 AI 技术的不断发展，我们有理由相信，各方努力将逐步解决 AI 偏见问题。然而，关键问题依然存在——我们应如何设计 AI，使其在保持客观和中立的同时，对性别多样性保持敏感并具备适应性？未来的 AI 可能需要在平等和个性化之间找到新的平衡。

ChatGPT 中的性别偏见问题提醒我们，AI 并非完全中立的工具，而是受其数据和社会影响的产品。尽管完全消除性别偏见或许不可能，但未来版本的 ChatGPT 可以通过整合多元化数据、使用透明提示以及实施用户反馈机制，实现更大的公平性。

同时，对于 ChatGPT 及其他 AI 工具的每一位用户来说，了解 AI 的局限性并保持批判性思维，是应对这一问题的关键。换句话说，我们必须保持警惕，不盲目依赖 AI 的回答，而是意识到其背后的潜在偏见。

随着我们越来越依赖人工智能，性别平等不仅是一个技术问题，更是一个需要社会共同讨论的伦理议题。未来 AI 如何成为更包容、更多元的技术，将深刻影响我们的日常互动、价值观以及对“性别平等”的理解。

答案

B. 大多数 AI 模型使用包含性别偏见的数据进行训练