• استخدم مؤشر الهلوسات مقياس التقييم الخاص بـ Galileo، وهو الالتزام بالسياق، لتقييم عدم دقة المخرجات عبر أطوال إدخال مختلفة.
  • النماذج مغلقة المصدر مثل Claude 3.5 Sonnet و Gemini 1.5 Flash تقود المؤشر بفضل بيانات التدريب الخاصة بها.

رأينا
لا تزال صناعة الذكاء الاصطناعي تواجه الهلوسات كعائق رئيسي أمام منتجات الذكاء الاصطناعي التوليدي الجاهزة للإنتاج. يقدم مؤشر الهلوسات الذي نشرته Galileo تقييمًا شاملاً لنماذج الذكاء الاصطناعي التوليدي، مع التركيز على أدائها في التعامل مع الهلوسات. كما يوفر رؤى قيمة للشركات لاختيار النموذج المناسب الذي يتناسب مع احتياجاتها الخاصة وقيود ميزانيتها.
-Lia XU، مراسلة BTW

ماذا حدث؟

Galileo، المطور الرائد في الذكاء الاصطناعي التوليدي، نشرمؤشر الهلوساتالأخير له. يقوم بتقييم 22نموذجًا بارزًا للغة كبيرة (LLMs) للذكاء الاصطناعي التوليديمن شركات رائدة مثل OpenAI و Anthropic و Google و Meta. تم توسيع مؤشر هذا العام ليشمل 11 نموذجًا جديدًا، مما يعكس النمو السريع لكل من LLMs مفتوحة المصدر ومغلقة المصدر خلال الأشهر الثمانية الماضية.

كشف المؤشر أن Claude 3.5 Sonnet من Anthropic كان النموذج الأفضل أداءً بشكل عام. في المقابل، كان أداء Google ملحوظًا بشكل خاص، حيث كان أداء نموذجها مفتوح المصدر Gemma-7b ضعيفًا، بينما احتل نموذجها المغلق Gemini 1.5 Flash باستمرار مراكز قريبة من القمة.

لا تزال صناعة الذكاء الاصطناعي تتعامل مع الهلوسات كعائق رئيسي أمام منتجات الذكاء الاصطناعي التوليدي الجاهزة للإنتاج. يقدم مؤشر الهلوسات رؤى قيمة للشركات التي تسعى إلى اعتماد النموذج المناسب وفقًا لاحتياجاتها الخاصة وقيود ميزانيتها. توضح هذه التطورات المشهد الديناميكي للذكاء الاصطناعي التوليدي والجهود المستمرة لمواجهة التحديات التي تطرحها هلوسات الذكاء الاصطناعي.

اقرأ أيضًا:BNP Paribas تتعاون مع Mistral AI لتنفيذ LLMs

اقرأ أيضًا:10 تطبيقات تعمل بالذكاء الاصطناعي للتشخيص الذاتي للحالات الصحية

لماذا هو مهم

يمكن أن تؤدي هلوسات الذكاء الاصطناعي إلى توليد معلومات غير صحيحة أو مضللة، مما يقوض موثوقية أنظمة الذكاء الاصطناعي. لذلك، يمكن لمؤشر الهلوسات من Galileo أن يساعد في تقييم وتحسين النماذج. يمكن للمطورين إنشاء تطبيقات ذكاء اصطناعي أكثر موثوقية يمكن للشركات الاعتماد عليها في المهام الحيوية.

يعد تقييم النماذج بناءً على أدائها وفعاليتها من حيث التكلفة أمرًا ضروريًا للشركات التي تسعى إلى تنفيذ حلول الذكاء الاصطناعي التوليدي. هذا التوازن بين التكلفة والأداء حيوي للمؤسسات التي تعمل بقيود ميزانية.

بينما تواجه صناعة الذكاء الاصطناعي الهلوسات كعائق رئيسي أمام منتجات الذكاء الاصطناعي التوليدي الجاهزة للإنتاج، فإن فهم هذه التحديات ضروري للشركات. يشكل مؤشر الهلوسات موردًا حيويًا لفهم المشهد التنافسي لنماذج الذكاء الاصطناعي التوليدي، مسلطًا الضوء على نقاط القوة والضعف في مختلف النماذج مع معالجة التحديات الحالية في هذا المجال.