• Национальный институт стандартов и технологий (NIST) перевыпустил инструмент Dioptra — испытательный стенд для оценки влияния вредоносных атак на системы ИИ.
  • Открытый исходный код делает его доступным для государственных учреждений и малого бизнеса, способствуя прозрачности и доверию к технологиям ИИ.

НАШЕ МНЕНИЕ
Помните, как мы все перепугались из-за дипфейков? NIST снова выпустила инструмент Dioptra — словно кибер-рыцарь в сияющих доспехах, готовый испытать ИИ на прочность перед вредоносными атаками. Это как охранник для вашего ИИ: он не позволит обмануть себя фальшивыми данными или выйти из-под контроля. Но будем честны: это не серебряная пуля. С GPT-4 и другими крупными моделями сфера применения Dioptra выглядит ограниченной — она поддерживает только локально размещённые модели. И всё же это шаг в правильном направлении.
–Miurio huang, корреспондент BTW

Чтопроизошло

Национальный институт стандартов и технологий (NIST), агентство Министерства торговли США, перевыпустилDioptra— испытательный стенд для оценки влияния вредоносных атак на системы ИИ. Изначально представленный в 2022 году, Dioptra — это модульный веб-инструмент с открытым исходным кодом, который помогает компаниям и частным лицам оценивать, анализировать и отслеживать риски ИИ, особенно атаки, «отравляющие» данные обучения моделей.

Dioptra предназначен для бенчмаркинга и исследования моделей ИИ, предоставляя общую платформу для воздействия на модели симулированными угрозами в среде «красной команды». Перевыпуск сопровождается документами NIST и недавно созданного Института безопасности ИИ, в которых изложены стратегии снижения рисков ИИ, включая генерацию недобровольной порнографии.

Читайте также:Министр Сингапура подчёркивает необходимость глобальной рамочной основы для ИИ

Читайте также:NIST запускает платформу для оценки генеративного ИИ

Почемуэтоважно

Перевыпуск Dioptra важен для решения проблем безопасности и надёжности моделей ИИ, используемых в различных отраслях. Инструмент моделирует и оценивает враждебные атаки, помогая организациям выявлять уязвимости и разрабатывать стратегии смягчения последствий. Открытый исходный код делает его доступным для государственных учреждений и малого бизнеса, способствуя прозрачности и доверию к технологиям ИИ.

Этот перевыпуск согласуется с исполнительным указом президента Joe Biden по ИИ, который требует от NIST содействия в тестировании систем ИИ и установления стандартов безопасности ИИ. Указ обязывает компании уведомлять федеральное правительство и предоставлять результаты проверок безопасности перед развёртыванием моделей ИИ, что обеспечивает ответственное развитие и минимизирует социальные риски.

Несмотря на ограничения, например поддержку только локально загружаемых моделей, а не моделей с API-доступом, таких как GPT-4, Dioptra — важный шаг вперёд в оценке рисков ИИ. Он помогает понять, как атаки влияют на производительность ИИ, и предоставляет данные об этих воздействиях, повышая безопасность ИИ и способствуя созданию надёжных и устойчивых систем ИИ.