• NIST переиздал Dioptra — инструмент с открытым исходным кодом, предназначенный для измерения влияния вредоносных атак на системы ИИ, особенно тех, что нацелены на обучающие данные.
  • Инструмент призван помочь компаниям и пользователям оценивать и отслеживать риски, связанные с ИИ, выступая в качестве платформы для сравнительного анализа и тестирования моделей ИИ.

НАШЕ МНЕНИЕ
Национальный институт стандартов и технологий (NIST) вновь представил Dioptra — открытый веб-инструмент, который оценивает уязвимости и деградацию производительности систем ИИ после вредоносных атак, особенно тех, что «отравляют» обучающие данные. Инструмент предназначен для помощи организациям в оценке и управлении рисками, связанными с ИИ, предоставляя платформу для сравнительного анализа и тестирования моделей ИИ против смоделированных угроз.
-Rae Li, журналист BTW

Что произошло

Национальный институт стандартов и технологий (NIST) переиздал Dioptra — веб-инструмент с открытым исходным кодом, первоначально запущенный в 2022 году.Dioptraпредназначен для измерения влияния вредоносных атак на производительность систем ИИ. Этот модульный инструмент может помочь компаниям и пользователям оценивать, анализировать и отслеживать риски, связанные с ИИ, выступая в качестве платформы для сравнительного анализа и исследований моделей, а также для воздействия на них смоделированных угроз в среде «red-teaming». В NIST подчёркивают, что Dioptra может предоставлять информацию о типах атак, способных снизить производительность системы ИИ, и количественно оценивать это влияние.

NIST также опубликовал документы своего нового института безопасности ИИ, в которых описываются стратегии снижения рисков ИИ, в том числе потенциального злоупотребления для создания недобровольной порнографии. Эти усилия являются частью более широкой инициативы, последовавшей за президентским указом об ИИ президента Джо Байдена. Указ обязывает компании, разрабатывающие модели ИИ, такие как Apple, информировать федеральное правительство и делиться результатами всех тестов безопасности перед публичным развёртыванием таких моделей.

Таким образом, разработка и публикация Dioptra — важные шаги в продолжающемся сотрудничестве между США и Великобританией по развитию тестирования и безопасности моделей ИИ.

Читайте также:NIST запускает платформу для оценки генеративного ИИ

Читайте также:Министр Сингапура подчёркивает необходимость глобальной системы для ИИ

Почему это важно

Это знаменует существенный прогресс в области безопасности и управления рисками, связанными с ИИ. Переиздание инструмента Dioptra предоставляет важный ресурс для разработчиков и пользователей систем ИИ, позволяющий лучше понимать и оценивать уязвимость моделей ИИ к вредоносным атакам. Благодаря симулированным атакам и тестам в режиме «red-teaming» Dioptra помогает выявлять и количественно оценивать потенциальные угрозы безопасности, что способствует разработке и развёртыванию более безопасных систем ИИ. Это необходимо для защиты данных пользователей, сохранения конфиденциальности и предотвращения злоупотребления технологиями ИИ.

Кроме того, запуск Dioptra является ответом на президентский указ Джо Байдена об ИИ, который подчёркивает важность безопасности и прозрачности ИИ и требует, чтобы компании, разрабатывающие модели ИИ, делились результатами тестов безопасности с правительством. Это поможет не только укрепить доверие общества к технологии ИИ, но и установить стандарт для глобального управления ИИ.