OpenAI の最新モデルが「これまでの指示をすべて無視」というトリックに対抗

BTW Media が OpenAI の最新モデルによる「これまでの指示をすべて無視」トリックへの対策をプロファイルする理由は、公開証拠がインターネットインフラ、ガバナンス、運用依存性、または市場での可視性に関連付けているためです。

• OpenAI は、チャットボットを欺瞞的なコマンドから保護する「命令階層」セキュリティ技術を採用した GPT-4o Mini を発表しました。
• OpenAI による GPT-4o Mini のアップデートは、AI の安全性と透明性をめぐる現在の議論にタイムリーに対応するものであり、内部および外部から改善を求める声が上がっています。

私たちの見解
AI の急速な発展という文脈において、安全性と信頼性の問題は業界の中心的な関心事です。最近、OpenAI は最新モデル GPT-4o Mini をリリースしました。これは、チャットボットが悪意のあるコマンドによって操作されるのを防ぐという長年の技術的課題に取り組むことを目的としています。この革新は、自己防護における AI の進歩を示すだけでなく、ユーザーエクスペリエンスとデータセキュリティの向上に向けたテクノロジー企業の努力を反映しています。
–BTW メディア ジャーナリスト、Elodie Qian

何が起こったか

OpenAI は、「これまでの指示をすべて無視」というトリックに対抗する新モデル GPT-4o Mini を発表しました。このモデルは「命令階層」と呼ばれるセキュリティ技術を使用しており、モデルの悪用や不正な指示に対する防御を強化します。この技術を搭載したモデルは、ユーザーがモデルを欺こうとする試みよりも、元の開発者のプロンプトを優先します。

Olivier Godement氏は、API プラットフォーム製品を統括しており、命令階層によって、インターネット上で広まっているプロンプトインジェクション（つまり、巧妙なコマンドで AI を騙すこと）を防ぐことができると説明しました。

「これは本質的に、モデルに開発者のシステムメッセージに実際に従い、準拠することを学習させます」と Godement 氏は述べました。これが「これまでの指示をすべて無視」攻撃を阻止することを意味するのかと尋ねられた際、Godement 氏は「まさにそうです」と答えました。

「競合が発生した場合は、まずシステムメッセージに従う必要があります。そこで私たちは[評価]を実施し、この新しい技術によりモデルが以前よりもさらに安全になることを期待しています」と付け加えました。

この革新は、完全に自動化されたデジタルエージェントの開発という OpenAI の目標と一致しています。同社は最近、そのようなエージェントの創出が間近であると発表しました。命令階層の手法は、これらのエージェントを大規模に展開する前に安全性を確保するために不可欠と見なされています。このような対策がなければ、電子メールの作成などの無害なタスクを目的としたエージェントが、機密情報の漏洩などの有害な行動を実行するように操作されるリスクがあります。

関連記事:OpenAI、より安価な AI モデル GPT-4o Mini をリリース

関連記事:ハッカーが OpenAI に侵入、内部 AI 技術の詳細を窃取

なぜ重要か

研究論文が説明するように、既存の大規模言語モデルはユーザープロンプトとシステム指示を区別していません。GPT-4o Mini の命令階層はシステム指示を上位に位置づけ、最も高い優先度を与える一方で、不適切なプロンプトは格下げされます。モデルは有害なプロンプトを識別して無視するように訓練されており、支援不能と応答します。

「将来的には、特にエージェントのユースケースにおいて、より複雑な他の種類のガードレールが存在すべきだと考えています。例えば、現代のインターネットには、危険なサイトを検出するウェブブラウザから、フィッシング試行に対する機械学習ベースのスパム分類器まで、多数のセキュリティ対策が備わっています」と研究論文は述べています。

OpenAI による GPT-4o Mini のアップデートは、AI の安全性向上に向けた重要な一歩です。この取り組みは、AI の安全性と透明性をめぐる現在の議論にタイムリーに対応するものであり、内部および外部から改善を求める声が上がっています。

OpenAI の現職および元従業員による、より良い安全性と透明性の実践を求める公開書簡があり、システムを人間の利益（安全性など）に沿って維持する責任を負うチームは解散され、退職した OpenAI の主要研究者Jan Leike氏は、投稿の中で「安全性の文化とプロセスが、輝かしい製品の後回しにされている」と書きました。

AI の信頼性に対する信頼が極めて重要であることを考えると、OpenAI がセキュリティ機能に注力することは、信頼を回復し、AI が私たちのデジタルライフの管理においてより重要な役割を担うことを可能にするために不可欠です。安全性へのこの取り組みは、信頼でき、信用に値する AI に向けた重要な一歩です。