Методы «разобучения» в ИИ влияют на эффективность

Статья «Методы „разобучения“ в ИИ влияют на эффективность» включена в профиль BTW Media, поскольку опубликованные доказательства связывают её с интернет-инфраструктурой, управлением интернетом, операционными зависимостями или видимостью на рынке.

• Новые исследования показали, что популярные методы «разобучения», которые позволяют моделям ИИ забывать нежелательные конкретные данные, могут также значительно ухудшать производительность моделей, иногда делая их непригодными.
• Исследователи отмечают, что в настоящее время не существует эффективного метода «разобучения», который позволял бы моделям забывать конкретные данные без существенной потери полезности модели.

НАШЕ МНЕНИЕ
Методы «разобучения» для моделей ИИ предназначены для того, чтобы заставить модели забывать конкретную нежелательную информацию, полученную из обучающих данных, например конфиденциальные личные данные или материалы, защищённые авторским правом. Исследование показывает, что текущие методы «разобучения» могут наносить вред способности моделей отвечать на базовые вопросы, что приводит к снижению производительности модели. Исследователи приходят к выводу, что в настоящее время не существует эффективного метода «разобучения», позволяющего забывать конкретные данные без существенной потери полезности модели.
-Rae Li, журналист BTW

Что произошло

Техники«разобучения»в моделях ИИ позволяют модели забывать конкретную нежелательную информацию, полученную из обучающих данных, например конфиденциальные личные данные или материалы, защищённые авторским правом. Исследователи отмечают, что, хотя эти техники и могут заставить модели забывать определённую информацию, они также могут наносить вред производительности модели, особенно при ответах на базовые вопросы. В исследовании используется эталонный тест MUSE для оценки эффекта «разобучения» различных алгоритмов, и выяснилось, что, хотя эти техники заставили модели забыть конкретную информацию, они также снижают общую полезность моделей.

Исследование, проведённое учёными из University of Washington, Princeton University, University of Chicago, University of Southern California иGoogle, протестировало восемь различных общедоступных алгоритмов и показало, что эти методы «разобучения» заставляют модели забывать конкретные данные, например книги Harry Potter, но при этом также влияют на приобретение моделями соответствующих знаний. Исследователи отмечают, что разработка эффективных методов «разобучения» — сложная задача, поскольку знания в модели переплетены. Например, модель могла изучить и книги Harry Potter, и бесплатный контент вики о Harry Potter; при попытке удалить книги Harry Potter это также повлияет на знания модели о вики Harry Potter. Исследователи полагают, что решение этой проблемы пока не найдено и необходимы дополнительные исследования.

Читайте также:Зачем нужны серверные и кто их основные поставщики?

Читайте также:Прорыв HP в области доступных ИИ-решений

Почему это важно

С широким распространением технологий ИИ стало крайне важно понимать, как обрабатывать и управлять конфиденциальной информацией в обучающих данных. Методы «разобучения» предназначены для того, чтобы позволить моделям ИИ удалять или забывать конкретную информацию из своих обучающих данных, что важно с точки зрения защиты конфиденциальности, соблюдения законов об авторском праве и реагирования на запросы об удалении данных.

Однако исследование показывает, что существующие методы «разобучения», хотя и позволяют моделям ИИ забывать нежелательную информацию, могут наносить вред производительности модели, особенно их способности отвечать на базовые вопросы. Это говорит о том, что, хотя методы «разобучения» теоретически привлекательны, они могут иметь непредвиденные последствия, влияющие на надёжность и полезность моделей ИИ. Поэтому важность этого сообщения заключается в том, что оно подчёркивает необходимость дальнейших исследований и инноваций в разработке и внедрении технологий «разобучения», чтобы гарантировать, что системы ИИ остаются эффективными и точными.