• Microsoft Azure внедряет новые функции безопасности для моделей ИИ, включая Prompt Shields и Groundedness Detection, призванные выявлять уязвимости и блокировать вредоносные запросы.
  • Эти функции улучшают контроль фильтрации нежелательного контента, отвечая на опасения по поводу безопасности моделей ИИ.
  • Приверженность Microsoft безопасности ИИ согласуется с расширением возможностей Azure на фоне растущего спроса.

Sarah Bird, главный руководитель продукта в области ответственного ИИ в Microsoft, в интервью изданию The Verge раскрывает детали внедрения новых функций безопасности, разработанных её командой для клиентов Azure. Эти функции, работающие на основе технологии LLM, призваны выявлять уязвимости, отслеживать правдоподобные, но не подтверждённые сценарии и блокировать вредоносные запросы в реальном времени для пользователей, работающих с моделями ИИAzure.

Читайте также:Windows переходит под новое руководство в связи с реорганизацией ИИ в Microsoft

Читайте также:Microsoft Teams получает более умные функции ИИ Copilot

Есть несколько функций, повышающих безопасность

Функции включают Prompt Shields, Groundedness Detection и оценки безопасности, а также дополнительные возможности, такие как направление моделей к безопасным выводам и отслеживание запросов проблемных пользователей. Система, в частности, проверяет входные запросы на запрещённые слова и скрытые подсказки до обработки, гарантируя соответствие ответов желаемым результатам.

Система может фильтровать язык вражды и насилие в моделях ИИ

Bird подчёркивает настраиваемый контроль фильтрации языка вражды и насилия в моделях ИИ, отвечая на опасения по поводу нежелательного контента. Эти меры безопасности распространяются на такие популярные модели, какGPT-4иLlama 2, хотя пользователям небольших и менее востребованных open-source моделей, возможно, придётся настраивать функции вручную.

Приверженность Microsoft повышению безопасности ИИ согласуется с растущим спросом на возможности Azure, о чём свидетельствуют недавние партнёрства, направленные на расширение её модельного предложения.