• Galileo の幻覚インデックスは、独自の評価指標であるコンテキスト忠実度を使用して、異なる入力長における出力の不正確さを評価しました。
  • Claude 3.5 Sonnet や Gemini 1.5 Flash のようなクローズドソースモデルは、独自のトレーニングデータによりインデックスで上位を占めています。

我々の見解
AI 業界は、生成 AI 製品の本番導入において幻覚が依然として大きな障害となっています。Galileo が公開した幻覚インデックスは、生成 AI モデルの包括的な評価を提供し、幻覚への対処性能に焦点を当てています。また、企業が特定のニーズと予算制約に合った適切なモデルを選択するための貴重な情報を提供します。
- Lia XU, BTW 記者

何が起きたのか

生成 AI の主要開発企業である Galileo は、最新の幻覚インデックスを公開し、OpenAI、Anthropic、Google、Meta などの主要企業による 22 の著名な生成 AI 大規模言語モデル（LLM）を評価しています。今年のインデックスは 11 の新しいモデルを追加して拡大され、過去 8 か月間におけるオープンソースおよびクローズドソース LLM の急速な成長を反映しています。

インデックスでは、Anthropic の Claude 3.5 Sonnet が総合的に最も優れたパフォーマンスを示しました。一方、Google のパフォーマンスは特筆すべきで、オープンソースモデルの Gemma-7b は劣っていたものの、クローズドソースモデルの Gemini 1.5 Flash は常に上位に位置しました。

AI 業界は、生成 AI 製品の本番導入において幻覚が依然として大きな障害となっています。幻覚インデックスは、特定のニーズと予算制約に合った適切なモデルを採用しようとする企業にとって貴重な情報を提供します。これらの進歩は、生成 AI のダイナミックな状況と、AI の幻覚がもたらす課題に取り組む継続的な努力を示しています。

関連記事：BNP Paribas が Mistral AI と提携し LLM を導入

関連記事：健康状態の自己診断のための AI 搭載アプリ 10 選

なぜ重要か

AI の幻覚は、誤った情報や誤解を招く情報を生成する可能性があり、AI システムの信頼性を損ないます。そのため、Galileo の幻覚インデックスはモデルの評価と改善に役立ちます。開発者は、企業が重要なタスクで信頼できる、より信頼性の高い AI アプリケーションを作成できます。

生成 AI ソリューションの導入を目指す企業にとって、パフォーマンスと費用対効果に基づいたモデルの評価は不可欠です。コストとパフォーマンスのバランスは、予算制約の中で運営する組織にとって極めて重要です。

AI 業界が本番環境対応の生成 AI 製品にとって幻覚が大きな障害であることに直面する中、これらの課題を理解することは企業にとって不可欠です。幻覚インデックスは、生成 AI モデルの競争環境を理解するための重要なリソースであり、さまざまなモデルの強みと弱みを浮き彫りにするとともに、この分野の現在の課題に取り組んでいます。