• 米国商務省傘下の National Institute of Standards and Technology (NIST)は、AI システムへの悪意のある攻撃の影響を測定するために設計されたテストベッド Dioptra を再リリースしました。
  • そのオープンソースの性質により、政府機関や中小企業にも利用可能で、AI 技術の透明性と信頼を促進します。

私たちの見解
Deepfake で皆がパニックになったのを覚えていますか？NIST の Dioptra が輝く鎧のサイバー騎士として戻ってきて、AI の実力を悪意ある攻撃に対してテストする準備ができています。これは AI のための警備員がいるようなもので、偽のデータに騙されたり制御不能になったりしないようにします。しかし現実的に考えれば、これは万能薬ではありません。
–Miurio huang, BTW ジャーナリスト

出来事

National Institute of Standards and Technology (NIST)、米国商務省の機関が、AI システムへの悪意のある攻撃の影響を測定するために設計されたテストベッドであるDioptraを再リリースしました。Dioptra は 2022 年に初めてリリースされ、Web ベースのモジュール型オープンソースツールで、企業や個人が AI リスクを評価、分析、追跡するのを支援し、特に AI モデルのトレーニングデータを「汚染」する攻撃に焦点を当てています。

Dioptra は、AI モデルのベンチマークと研究を支援することを目的としており、模擬脅威にモデルをさらすための共通プラットフォームを「レッドチーミング」環境で提供します。この再リリースには、NIST と新設の AI Safety Institute の文書が添付されており、同意のないポルノ生成を含む AI の危険を軽減するための戦略が説明されています。

関連記事：シンガポールの大臣が世界 AI フレームワークの必要性を強調

関連記事：NIST が生成 AI 評価プラットフォームを開始

これが重要な理由

Dioptra の再リリースは、様々な分野で使用される AI モデルの安全性と信頼性に関する懸念に対処する上で重要です。このツールは、敵対的攻撃をシミュレートし評価することで、組織が脆弱性を特定し緩和戦略を策定するのを支援します。そのオープンソースの性質により、政府機関や中小企業にも利用可能で、AI 技術の透明性と信頼を促進します。

この再リリースは、ジョー・バイデン大統領の AI に関する大統領令に沿ったものであり、NIST が AI システムのテストを支援し、AI の安全性に関する基準を確立することを求めています。同大統領令は、企業が AI モデルを展開する前に連邦政府に通知し、セキュリティテストの結果を共有することを義務付けており、責任ある開発を保証し、社会へのリスクを最小限に抑えます。

ローカルにダウンロード可能なモデルにのみ対応し、GPT-4 のような API 経由のモデルには対応していないなどの制限があるにもかかわらず、Dioptra は AI リスク評価における重要な進歩です。攻撃が AI のパフォーマンスにどのように影響するかを理解し、その影響に関するデータを提供することで、AI の安全性を強化し、堅牢で信頼性の高い AI システムの開発に貢献します。