Anthropic の研究者が大規模言語モデルの隠された使用法を発見

Anthropic researchers find the hidden usage of large language models は、公開された証拠がインターネットインフラ、ガバナンス、運用上の依存関係、または市場での可視性に関連しているため、BTW Media によってプロファイリングされています。

• Anthropic の研究者は、大規模言語モデル（LLM）に「many-shot jailbreaking」と呼ばれる新たな脆弱性を発見した。これは、無害な質問を複数与えてモデルを準備することで、最終的に不適切な回答（例えば爆弾の製造方法など）を引き出す可能性があるというものだ。
• この脆弱性は、最新の LLM の「コンテキストウィンドウ」の拡大に起因しており、それによって大量のデータを短期記憶に保持できるようになっている。
• この問題を解決するため、研究者たちは、モデルに提示する前にクエリを分類・文脈化し、パフォーマンスを維持しつつリスクを軽減する方法に取り組んでいる。

大規模言語モデルにおける新たな脆弱性：「many-shot jailbreaking」は、無害な質問でモデルを準備することで不適切な回答を引き出すことを可能にする。

Anthropic の研究者が LLM のバグを発見

AI に本来答えるべきでない質問に答えさせるにはどうすればよいか？ 多くの「ジェイルブレイク」手法が存在するが、Anthropic の研究者は新たな手法を発見した。それは、大規模言語モデル（LLM）にまず数十のそれほど危険でない質問を与えて準備することで、最終的に爆弾の製造方法を教えさせることができるというものだ。

この研究は論文にまとめられ、AI コミュニティと共有された。それによると、より広いコンテキストウィンドウを持つ LLM は、プロンプト内で多数の例を与えられると、さまざまなタスクでより高いパフォーマンスを発揮する傾向がある。これには、繰り返しの露出によって時間とともに回答の精度が向上する些細な質問も含まれる。しかし、これと同じメカニズムが不適切なリクエストへの応答にも拡張され、一連の無害な質問で準備された後にモデルが従う可能性が高くなる。

関連記事:AI の悪用？ディズニーは「ロキ」のポスターで批判をかわす

AI 悪用への高まる懸念

このバグはテクノロジー業界に波紋を投げかけ、AI 悪用に対する一般の懸念を引き起こす可能性がある。この挙動の正確なメカニズムは依然として不明だが、研究者たちは、モデルが与えられたコンテキストに基づいてユーザーの意図を見極める能力が関係していると推測している。

チームはすでに同業者や競合他社にもこの攻撃について通知しており、これが「LLM プロバイダーと研究者の間でこうしたエクスプロイトがオープンに共有される文化を育む」ことを期待している。しかし、この脆弱性を緩和することは困難であり、コンテキストウィンドウを制限するとモデルのパフォーマンスに悪影響が及ぶためである。