Microsoft のセキュリティシステムが AI アプリの幻覚を検出可能

「Microsoft の安全システムが AI アプリの幻覚を検出」は、公開証拠がインターネットインフラ、ガバナンス、運用依存関係、市場での可視性と結びついているため、BTW Media によってプロファイルされています。

• Microsoft Azure が AI モデルのための新しいセキュリティ機能を導入。Prompt Shields と Groundedness Detection を含み、脆弱性の検出と悪意のあるプロンプトのブロックを目的とする。
• これらの機能は不適切なコンテンツのフィルタリング制御を改善し、AI モデルのセキュリティに関する懸念に応える。
• Microsoft の AI 安全性への取り組みは、需要増を背景とした Azure の AI 能力拡大と合致している。

Microsoft の責任ある AI 担当チーフプロダクトマネージャー、Sarah Bird 氏は The Verge のインタビューで、Azure の顧客向けに同氏のチームが設計した新たなセキュリティ機能の展開を明らかにした。LLM 技術を利用したこれらの機能は、AI モデルを利用するユーザーのために、脆弱性の検出、もっともらしいが裏付けのないシナリオの監視、悪意のあるプロンプトのリアルタイムブロックを目的とするAzure。

関連記事：Microsoft の AI 再編で Windows が新体制に

関連記事：Microsoft Teams がよりスマートな Copilot AI 機能を獲得

セキュリティを向上させるさまざまな機能

機能には Prompt Shields、Groundedness Detection、セキュリティ評価が含まれ、さらにモデルを安全な出力へ誘導する機能や、問題のあるユーザー候補のプロンプト追跡機能も追加される。特に、システムは処理前に入力プロンプトを禁止語や隠れた手がかりがないか評価し、回答が意図した結果と一致するようにする。

AI モデルにおけるヘイトスピーチや暴力のフィルタリングが可能

Bird 氏は、AI モデルにおけるヘイトスピーチや暴力のフィルタリングをカスタマイズ可能な制御で実現していることを強調し、不適切なコンテンツへの懸念に応えている。これらのセキュリティ対策は、GPT-4やLlama 2などの人気モデルにも適用されるが、より小規模で使用頻度の低いオープンソースモデルのユーザーは手動設定が必要になる場合がある。

Microsoft の AI 安全性向上への取り組みは、最近のモデル提供拡大を目的とした提携によって裏付けられた Azure の AI 能力への需要増と合致している。