• NIST は、悪意のある攻撃、特にトレーニングデータを標的とする攻撃が AI システムに与える影響を測定するために設計されたオープンソースツール Dioptra を再リリースしました。
  • このツールは、企業やユーザーが AI リスクを評価・追跡するのを支援し、ベンチマークや AI モデルのテストのためのプラットフォームとして機能します。

BTW の見解
米国国立標準技術研究所（NIST）は、悪意のある攻撃、特にトレーニングデータを「汚染」する攻撃に対する AI システムの脆弱性とパフォーマンス低下を評価するオープンソースの Web ツール Dioptra を再導入しました。このツールは、組織が AI リスクを評価・管理するのを支援し、シミュレーションされた脅威に対するベンチマークと AI モデルのテストのためのプラットフォームを提供します。
- Rae Li, BTW 記者

経緯

米国国立標準技術研究所（NIST）は、2022 年に初めてリリースされたオープンソースの Web ツール Dioptra を再リリースしました。Dioptraは、悪意のある攻撃が AI システムのパフォーマンスに与える影響を測定するために設計されています。このモジュール式ツールは、企業やユーザーが AI リスクを評価、分析、追跡するのを支援し、ベンチマークやモデル研究のためのプラットフォームとして、また「レッドチーム」環境でシミュレーションされた脅威にさらすために使用できます。NIST は、Dioptra が AI システムのパフォーマンスを低下させる可能性のある攻撃の種類に関する情報を提供し、その影響を定量化できることを強調しています。

NIST はまた、新設された AI 安全研究所の文書を公開しました。これには、同意のないポルノ生成などの AI の悪用の可能性を軽減するための戦略が記載されています。この取り組みは、ジョー・バイデン大統領の AI に関する大統領令に基づく広範なイニシアチブの一環です。この大統領令は、Apple のような AI モデルを開発する企業に対し、モデルを一般公開する前に連邦政府に通知し、すべての安全性テストの結果を共有することを義務付けています。したがって、Dioptra の開発と公開は、AI モデルのテストと安全性を向上させるための米国と英国の継続的な協力における重要なステップです。

あわせて読みたい：NIST、生成 AI 評価プラットフォームを開始

あわせて読みたい：シンガポール大臣、グローバル AI フレームワークの必要性を強調

重要性

これは、AI セキュリティとリスク管理の分野における大きな進歩であり、Dioptra ツールの再リリースは、AI システムの開発者とユーザーが悪意のある攻撃に対する AI モデルの脆弱性をよりよく理解し評価するための重要なリソースを提供します。シミュレーション攻撃と「レッドチーム」テストを通じて、Dioptra は潜在的なセキュリティ脅威を特定し定量化するのに役立ち、より安全な AI システムの設計と展開を促進します。これは、ユーザーデータの保護、プライバシーの維持、AI 技術の悪用防止に不可欠です。

さらに、Dioptra の開始は、ジョー・バイデン大統領の AI 大統領令への対応であり、AI の安全性と透明性の重要性を強調し、AI モデルを開発する企業が安全性テストの結果を政府と共有することを義務付けています。これは、AI 技術に対する一般の信頼を強化するだけでなく、グローバルな AI ガバナンスの基準を確立するのに役立ちます。