• 该幻觉指数采用了 Galileo 的专有评估指标——上下文依从性，来评估不同输入长度下的输出不准确性。
  • 像 Claude 3.5 Sonnet 和 Gemini 1.5 Flash 等闭源模型因其专有训练数据而在该指数中处于领先地位。

BTW 观点
AI 行业仍然将幻觉视为生产就绪的生成式 AI 产品的重大障碍。Galileo 发布的幻觉指数对生成式 AI 模型进行了全面评估，重点关注其在处理幻觉方面的表现。它还为企业选择适合其特定需求和预算限制的合适模型提供了宝贵见解。
-Lia XU，BTW 记者

发生了什么

生成式 AI 领域的领先开发商 Galileo 发布了其最新的幻觉指数。该指数评估了来自 OpenAI、Anthropic、Google 和 Meta 等主要公司的 22 个知名生成式AI 大语言模型（LLM）。今年的指数新增了 11 个模型，反映出过去八个月中开源和闭源 LLM 的快速增长。

指数显示，Anthropic 的 Claude 3.5 Sonnet 成为综合表现最佳的模型。相比之下，Google 的表现尤为引人注目，其开源的 Gemma-7b 模型表现不佳，而闭源的 Gemini 1.5 Flash 则持续排名靠前。

AI 行业仍在与幻觉作斗争，这是生产就绪的生成式 AI 产品面临的主要障碍。幻觉指数为希望根据自身特定需求和预算限制采用合适模型的企业提供了宝贵见解。这些发展展示了生成式 AI 的动态格局，以及为应对 AI 幻觉带来的挑战所做的持续努力。

另请阅读：法国巴黎银行与 Mistral AI 合作实施 LLM

另请阅读：10 款用于自我诊断健康状况的 AI 应用

为何重要

AI 幻觉可能导致生成错误或误导性信息，这会破坏 AI 系统的可靠性。因此，Galileo 的幻觉指数有助于评估和改进模型。开发者可以创建更值得信赖的 AI 应用，供企业在关键任务中依赖。

基于性能和成本效益对模型进行评估，对于希望实施生成式 AI 解决方案的企业至关重要。在性能与成本之间取得平衡，对于在预算限制下运营的组织至关重要。

随着 AI 行业将幻觉视为生产就绪的生成式 AI 产品面临的重大障碍，理解这些挑战对企业而言至关重要。幻觉指数是了解生成式 AI 模型竞争格局的重要资源，它突出了各种模型的优缺点，同时应对了该领域持续存在的挑战。