- Гендерная предвзятость в моделях ИИ, таких как ChatGPT, вызывает опасения, что некоторые ответы могут непреднамеренно передавать гендерные стереотипы.
- Несмотря на усилия разработчиков по снижению предвзятости, предвзятость данных и культурные различия по-прежнему затрудняют достижение гендерного равенства.
- Повышение прозрачности и механизмы обратной связи с пользователями — это направление улучшений, и ИИ должен найти баланс между устранением предвзятости и персонализированным опытом.
Amazonразработала в 2014 году инструмент на основе ИИ для отбора кандидатов, стремясь упростить процесс найма. Однако вскоре компания обнаружила, что система рекрутинга на основе ИИ склонна оценивать кандидатов-женщин ниже, особенно на технические должности.
Тестирование системы рекрутинга показало, что ИИ проявляет несправедливую предвзятость по отношению к женщинам-кандидатам. Это открытие потрясло технологическую отрасль. Несмотря на значительные инвестиции Amazon в разработку инструмента ИИ для отбора кандидатов, компания в конечном итоге отказалась от него из-за скрытой предвзятости по отношению к женщинам. Этот случай показал, что системы ИИ могут «непреднамеренно» нести гендерную дискриминацию, даже когда намерения разработчиков нейтральны.
Технологии ИИ стремительно меняют то, как мы взаимодействуем с миром, но проблема гендерной предвзятости остаётся повсеместной. Мы не можем игнорировать это явление, поскольку оно выходит за рамки отдельных взаимодействий и незаметно формирует наши социальные представления.
Это поднимает важный вопрос: отражают ли языковые модели, такие как ChatGPT, непреднамеренно гендерные предубеждения, существующие в обществе? Как эти предубеждения могут влиять на наши убеждения и решения в повседневном взаимодействии с ИИ?
Читайте также:Двойной сексизм игривого голоса «Her» в ChatGPT
Неосознанная предвзятость ChatGPT (ИИ)
ChatGPT создан для предоставления нейтральных и объективных ответов, но действительно ли его ответы свободны от гендерной предвзятости? Модели ИИ в первую очередь полагаются на большие наборы данных для обучения, часто содержащие тексты из социальных сетей, веб-сайтов и других открытых источников. Когда эти тексты отражают гендерные предубеждения общества, модели ИИ могут непреднамеренно воспроизводить эти «неосознанные предубеждения» в своих ответах.
В некоторых тестах мы обнаружили, что ChatGPT склонен использовать определённый род для обозначения конкретных профессий или ролей в определённых ответах. Один из примеров — когда пользователи просят ChatGPT определить, кто лучше подходит для роли медсестры или руководителя. ChatGPT может незаметно склоняться к ответам, сформированным гендерными стереотипами. Эти тонкие предубеждения, хотя и менее явные, чем традиционный дискриминационный язык, всё же могут влиять на восприятие и принятие решений пользователей.
Как нам понимать гендерную предвзятость в ChatGPT? Некоторые пользователи могут не сразу замечать эти тонкие различия, поскольку ответы ChatGPT часто кажутся объективными. Однако проблема кроется в его «неосознанной предвзятости». Хотя ИИ не обладает какой-либо реальной гендерной точкой зрения, он бессознательно отражает глубоко укоренившиеся стереотипы, присутствующие в его обучающих данных. Это не только влияет на восприятие пользователей, но и может создавать новый «порочный круг предвзятости».
То есть пользователи усваивают предвзятую информацию от ИИ, укрепляя эти взгляды в реальной жизни, что, в свою очередь, углубляет предвзятость в данных. «После того как модель обучается на предвзятых данных и повторно разворачивается, предвзятость модели при генерации новых данных может усиливаться, создавая так называемый “эффект усиления предвзятости”», — говорит Rohan Taori, PhD в области компьютерных наук, Stanford University.
После того как модель обучается на предвзятых данных и вновь разворачивается, её предвзятость при генерации новых данных может ещё больше усиливаться, создавая так называемый «эффект усиления предвзятости».
Rohan Taori, PhD в области компьютерных наук, Stanford University
Читайте также:Новое исследование показывает, что ChatGPT довольно гендерно предвзят
Почему гендерное равенство в ChatGPT так трудно достижимо?
Разработчики проектируют большие языковые модели, такие как ChatGPT, с целью удовлетворения разнообразных разговорных потребностей и предоставления широкого спектра информации и поддержки.
Однако стоит отметить, что обучающие данные ChatGPT охватывают большое количество веб-контента и публичных текстов. И сам контент часто отражает гендерные предубеждения в обществе. Даже когда OpenAI пытается отфильтровывать более сбалансированные и разнообразные данные, многие предубеждения остаются скрытыми в тонкостях языка. Например, ответы модели незаметно несут некоторые стереотипы о профессиях, способностях и личностных качествах.
Ruhi Khan, исследователь ESRC в LSE, отметила, что мужские местоимения реже ассоциировались с традиционно женскими профессиями, а женские местоимения часто связывались с заботливыми или менее техническими ролями.
В то же время пользователи ChatGPT приезжают со всего мира, и у каждого из них разные гендерные взгляды, культурный фон и социальные нормы. ChatGPT с трудом удаётся точно сбалансировать эти культурные различия, гарантируя каждому пользователю подобающий и непредвзятый разговорный опыт.
Чтобы снизить гендерную предвзятость, команда разработчиков ChatGPT могла бы включить больше стратегий устранения предвзятости в текст, генерируемый моделью. Однако есть и проблемы. Слишком нейтральные разговоры могут казаться «холодными» или «шаблонными», лишёнными индивидуальности и естественности взаимодействия.
Это также поднимает ещё один ключевой вопрос: должны ли мы полностью устранить предвзятость или балансировать различные гендерные особенности, уважая разнообразие? Современные технологии ИИ ещё не могут идеально решить эту проблему, но мы можем приблизить ИИ к нейтральности, усилив этические нормы и повысив технологическую прозрачность.
Викторина
Какова основная причина, по которой языковые модели, такие как ChatGPT, могут проявлять предвзятость при обработке гендерных тем?
A. Разработчики намеренно включили гендерно предвзятые алгоритмы
B. Большинство моделей ИИ обучаются на данных, содержащих гендерную предвзятость
C. Модели ИИ автоматически генерируют гендерную предвзятость без каких-либо данных
D. ChatGPT специально разработан для определённого пола, поэтому он предвзят
(Правильный ответ приведён в конце статьи)
«Гендерная осознанность» в ChatGPT: необходимое равенство или новый вызов?
Внедрение «гендерной осознанности» в ChatGPT можно рассматривать как палку о двух концах. С одной стороны, это позволяет модели лучше соответствовать потребностям пользователей в определённых конкретных сценариях, предоставляя детализированные и персонализированные услуги. С другой стороны, небрежная реализация распознавания и корректировки гендера в ИИ может поднять этические вопросы и даже непреднамеренно усилить гендерную предвзятость. Как отметила исследователь ИИ Kate Crawford: «Системы ИИ не нейтральны. Они часто глубоко укоренены в общественных нормах, и при небрежном проектировании они могут усугублять существующее неравенство».
Эта цитата Kate Crawford подчёркивает, что ИИ не нейтрален. Особенно в чувствительных областях, таких как гендер. Если ИИ спроектирован неправильно, он может усугубить неравенство в обществе.
Исследователи, такие как доктор Moatsum Alawida, подчёркивают, что устранение предвзятости без ущерба для аутентичности разговора остаётся сложной и постоянной задачей в разработке ИИ. Он отметил: «Устранение предвзятости без ущерба для реалистичности разговора остаётся сложной и постоянной задачей в разработке ИИ».
Устранение предвзятости без ущерба для реалистичности разговора остаётся сложной и постоянной задачей в разработке ИИ.
Доктор Moatsum Alawida, доцент кафедры кибербезопасности, University of ABU Dhabi
Далее мы рассмотрим необходимость и риски «гендерной осознанности» в ИИ.
Как гендерная осознанность улучшает персонализированный опыт?
Новый взгляд предлагает, чтобы ИИ не полностью игнорировал гендер, а требовал более тонкой «гендерной осознанности». Эта осознанность может не только помочь избежать предвзятости, но и предоставлять более персонализированные и детализированные ответы в определённых контекстах. При обсуждении ИИ и гендера некоторые эксперты утверждают, что ИИ не должен полностью игнорировать гендер. Вместо этого следует принять подход «гендерно осознанного» ИИ. Эта точка зрения подчёркивает важность признания последствий гендерной предвзятости в системах ИИ и принятия мер для сознательного решения этих проблем.
Согласно отчётам таких организаций, как OECD и IBM, хотя ИИ потенциально может снизить гендерное неравенство. Но при плохом управлении он также может усилить стереотипы. OECD указала, что ИИ не должен полностью игнорировать гендер, а скорее применять подход «гендерной осознанности».
Кроме того, Sara Sterlie, исследователь в Technical University of Denmark (DTU), сказала: «Мы ожидали некоторой гендерной предвзятости, поскольку ChatGPT обучается на материалах из интернета, которые в некоторой степени отражают гендерные стереотипы, известные нам уже много лет».
ИИ не должен полностью игнорировать гендер, а скорее применять подход «гендерной осознанности».
Организация экономического сотрудничества и развития
В определённых ситуациях учёт гендерных различий может повысить качество услуг ИИ. Например, в таких областях, как психическое здоровье, образование и карьерное консультирование, у пользователей разного пола могут быть разные потребности.
Предположим, студент использует ChatGPT для получения учебных советов; понимая пол пользователя, ИИ может рекомендовать учебные ресурсы, лучше соответствующие его происхождению и интересам, или давать предложения, соответствующие социальным потребностям пользователя.
Christine Exley и её коллеги из Harvard University провели исследование. Они изучили, как женщины склонны преуменьшать свои достижения и реже занимаются самопродвижением, чем мужчины. В контексте ИИ и ChatGPT эти гендерные динамики могут влиять на то, как пользователи воспринимают ответы и интерпретируют предоставленную информацию. Поскольку модели ИИ часто отражают предубеждения, заложенные в их обучающих данных. Как указывает Christine Exley, решение этой проблемы требует не просто поощрения женщин быть «увереннее». Это включает изменение институтов и структур, формирующих гендерные ожидания.
И оспаривание лежащих в основе социальных норм, которые движут этими различиями.
Женщины склонны преуменьшать свои достижения и реже занимаются самопродвижением по сравнению с мужчинами, даже когда их результаты объективно равны.
Christine Exley, профессор Harvard University
Этические проблемы гендерной осознанности: могут ли стереотипы усиливаться?
Однако, несмотря на потенциальные преимущества «гендерной осознанности», она может непреднамеренно усиливать стереотипы. Согласно отчётам таких организаций, как OECD и IBM, хотя ИИ потенциально способен смягчить гендерное неравенство, он также может усилить стереотипы при плохом управлении. Как упоминалось ранее, когда ChatGPT пытается распознать и адаптироваться к полу пользователя, он может выносить суждения на основе общественных норм, преобладающих в обучающих данных.
Например, если модель даёт разные карьерные рекомендации в зависимости от пола, она может непреднамеренно транслировать гендерные предубеждения из традиционных взглядов, например, предполагая, что технологическая отрасль больше подходит мужчинам, а сферы образования или гуманитарных наук — женщинам.
Эта проблема особенно актуальна в контексте карьеры и образования. С одной стороны, персонализированная гендерная осознанность может обеспечить более индивидуальный опыт, отвечающий потребностям пользователей; с другой стороны, это распознавание и адаптация могут усиливать гендерные стереотипы, особенно когда ИИ даёт различающиеся по полу рекомендации, основанные на общепринятых представлениях.
Таким образом, внедрение гендерной осознанности также создаёт новые проблемы: как сбалансировать справедливость и разнообразие в ChatGPT?
Читайте также:Генераторы изображений на основе ИИ часто дают расистские и сексистские результаты: можно ли это исправить?
Размышляя о будущем
По мере развития технологий ИИ мы можем обоснованно полагать, что усилия постепенно решат проблему предвзятости ИИ. Однако ключевой вопрос остаётся: как спроектировать ИИ, чтобы он сохранял объективность и нейтральность, будучи чувствительным к гендерному разнообразию и адаптируясь к нему? Будущему ИИ, возможно, придётся найти новый баланс между равенством и персонализацией.
Проблема гендерной предвзятости в ChatGPT служит напоминанием о том, что ИИ — не полностью нейтральный инструмент, а продукт, на который влияют его данные и общество. Хотя полностью устранить гендерную предвзятость, возможно, невозможно, будущие версии ChatGPT могут добиться большей справедливости за счёт включения разнообразных данных, использования прозрачных подсказок и внедрения механизмов обратной связи с пользователями.
В то же время для каждого пользователя ChatGPT и других инструментов ИИ понимание ограничений ИИ и сохранение критического мышления являются ключом к решению этой проблемы. Другими словами, мы должны сохранять бдительность, не полагаясь слепо на ответы ИИ, а осознавая потенциальную предвзятость, стоящую за ними.
По мере того как мы всё больше полагаемся на ИИ, гендерное равенство становится не только технической проблемой, но и этической, требующей коллективного обсуждения в обществе. То, как ИИ станет более инклюзивной и разнообразной технологией в будущем, глубоко повлияет на наши повседневные взаимодействия, ценности и наше понимание «гендерного равенства».
Ответ на викторину
B. Большинство моделей ИИ обучаются на данных, содержащих гендерную предвзятость