AI の能力と人間の専門知識のバランスを取るべき理由

• 研究者らは、よく観察される 7 種類のセキュリティ脆弱性を AI が検出する能力を評価した。
• 経済的影響は大きいものの、擁護派は環境保護と先住民族の権利を優先しており、対立の火種となりうる。

ChatGPT のような AI はコード生成や分析で素晴らしい能力を示す一方で、信頼できるセキュリティ監査役としての有効性には疑問が残る。潜在的な脆弱性の徹底的な評価には、専門ツールと人間の判断力の両方を活用することの重要性が強調される。

AI システムによる一般的なセキュリティ脆弱性の評価

人工知能（AI）の能力が拡大し続ける中、Salus Security の研究者らは最近、GPT-4と他の AI システムを対象に、一般的なセキュリティ脆弱性の検出テストを実施した。北米、欧州、アジアに事業を展開する著名なブロックチェーンセキュリティ企業である Salus Security の専門家ペアによって行われたこの研究は、スマートコントラクトの分析と監査における GPT-4 の能力を評価することを目的としていた。

こちらもお読みください：ChatGPT-4 に挑戦する AI モデル、Alphabet の Gemini を覗く

AI の二面性を探る

研究により、ChatGPT を含む AI はコードの生成と分析において称賛すべき適性を示す一方で、セキュリティ監査役としての信頼性には依然として疑問が残ることが明らかになった。研究者らは、合計 732 件の脆弱性を含む 35 のスマートコントラクトからなる SolidiFI-benchmark 脆弱性ライブラリとして知られるデータセットを使用し、7 種類の主要な脆弱性において潜在的なセキュリティ弱点を AI が特定する能力を評価した。

結果によると、ChatGPT は真陽性（実際の脆弱性で、管理環境外でのさらなる調査を正当化するもの）の検出において 80%を超える高い精度を示した。しかし、Salus チームの実験では、偽陰性を生成する際に困難に直面し、わずか 11%という低い再現率が示された。これにより、GPT-4 の脆弱性検出能力は限定的であり、最大精度はかろうじて 33%に達するに過ぎないと結論付けられた。

こちらもお読みください：ChatGPT、「@」を使って他の GPT へのアクセスを追加

脆弱性評価における人間の判断力と専門ツール

これらの調査結果を踏まえ、研究者らは GPT-4 のような AI システムが同等の有効性を達成できるまでは、スマートコントラクトの検査において専用の監査ツールと人間の専門知識に頼ることを推奨した。この見解は、セキュリティ監査などの機密性の高い領域に AI を統合する際には慎重なアプローチが必要であることを強調し、潜在的な脆弱性の徹底的な評価を確実にするために人間の判断力と専門ツールの補完的役割の重要性を浮き彫りにしている。

研究結果は、セキュリティ分野における AI アプリケーションの進化する状況に光を当て、セキュリティ監査の厳しい要求を満たすために AI システムを継続的に改善することの重要性を強調している。AI 技術が進歩し続けるにつれ、組織が AI の能力を活用することと、セキュリティ評価のような重要な領域における現状の限界を認識することとのバランスを取ることがますます重要になる。

この研究から得られた知見は、AI の交差点に関する現在進行中の議論への貴重な貢献となり、業界関係者に対してセキュリティプロトコルに AI を統合することの微妙な意味合いを考慮するよう促している。将来的には、この研究が AI 駆動型セキュリティ監査ツールの有効性向上を目的としたさらなる対話と革新を促進し、最終的には新たな脅威に対するデジタルエコシステムの回復力を強化する可能性がある。