بايتشوان إنتليجنس الصينية تكشف عن نموذج لغة مفتوح المصدر لمنافسة OpenAI

يتم إدراج مقال 'شركة بايتشوان إنتليجنس الصينية تكشف عن نموذج لغة مفتوح المصدر لمنافسة OpenAI' في ملفات BTW Media لأن الأدلة المنشورة تربطه بالبنية التحتية للإنترنت أو الحوكمة أو التبعيات التشغيلية أو رؤية السوق.

شركة بايتشوان إنتليجنس، شركة ناشئة أسسها وانغ شياوتشوان، مؤسس Sogou، أطلقت الجيل التالي من نموذج اللغة الكبير بايتشوان-13B.
شركة بايتشوان إنتليجنس، شركة ناشئة أسسها وانغ شياوتشوان، مؤسس Sogou، أطلقت الجيل التالي من نموذج اللغة الكبير بايتشوان-13B. وانغ، النابغة في علوم الكمبيوتر من جامعة تسينغهوا، ويهدف إلى إنشاء النسخة الصينية من OpenAI. وتعتبر بايتشوان واحدة من أكثر المطورين الواعدين في الصين في مجال نماذج اللغة الكبيرة (LLMs). يعتمد النموذج على بنية المحول (Transformer) مثل GPT من OpenAI، ويحتوي على 13 مليار معلمة، وتم تدريبه على بيانات صينية وإنجليزية. بايتشوان-13B مفتوح المصدر ومحسّن للتطبيقات التجارية.
بيانات تدريب مماثلة لـ GPT 3.5
تم تدريب بايتشوان-13B على 1.4 تريليون رمز، متجاوزًا نموذج LLaMa من ميتا الذي يستخدم 1 تريليون رمز في نموذجه الذي يحتوي على 13 مليار معلمة. أعرب وانغ عن نيته إطلاق نموذج واسع النطاق مماثل لـ GPT-3.5 من OpenAI بحلول نهاية هذا العام. في فترة قصيرة، أحرزت بايتشوان تقدمًا كبيرًا، حيث وسعت فريقها إلى 50 شخصًا بحلول نهاية أبريل وأطلقت أول نموذج لغة كبير لها، بايتشوان-7B، في يونيو.​
بايتشوان-13B متاح الآن مجانًا للأكاديميين والمطورين المعتمدين الذين يرغبون في استخدامه للأغراض التجارية. والجدير بالذكر أن النموذج يقدم متغيرات يمكن تشغيلها على أجهزة استهلاكية، مما يعالج القيود التي تفرضها عقوبات الرقائق الأمريكية للذكاء الاصطناعي على الصين.
بايتشوان-7B هو نموذج لغة كبير مفتوح المصدر للتدريب المسبق، تم تطويره بعناية من قبل العقول الرؤيوية في بايتشوان للتقنيات الذكية. استنادًا إلى بنية نموذج المحول، يستخدم هذا النموذج 7 مليارات معلمة مذهلة وقد تم تغذيته بـ 1.2 تريليون رمز مذهل. بفضل تنوعه الذي لا يتزعزع، يتعامل بايتشوان-7B بلطف مع كل من اللغتين الصينية والإنجليزية.
نتائج أداء عالية في جميع المجالات
بايتشوان-7B، الذي يُحتفى به بجدارة كأحد النماذج الرائدة بين النماذج ذات المقياس المماثل، برز منتصِرًا في المعايير الصينية والإنجليزية المرموقة، بما في ذلك تقييمات C-EVAL وMMLU المحترمة، محفورًا اسمه في قمة التميز اللغوي.
يتفوق هذا النموذج باستمرار على نظرائه من نفس حجم المعايير، مسيطرًا باعتباره النموذج الأصلي المسبق التدريب الأبرز في مجال فهم اللغة الصينية. في تقييم AGIEval، يتفوق بايتشوان-7B على المنافسين الآخرين مفتوحي المصدر، بما في ذلك LLaMA-7B وFalcon-7B وBloom-7B وChatGLM-6B، بهامش مذهل، محققًا نتيجة مبهرة قدرها 34.4 نقطة.
بايتشوان-7B يغزو امتحان C-EVAL بنتيجة قوية قدرها 42.8 نقطة، متجاوزًا نتيجة ChatGLM-6B البالغة 38.9 نقطة. في تقييم Gaokao، يسود النموذج بامتياز بنتيجة استثنائية قدرها 36.2 نقطة، مما يثبت هيمنته بقوة بين النماذج المسبقة التدريب ذات المقياس المماثل.
AGIEval، مبادرة معايير محترمة من معهد أبحاث مايكروسوفت، تمثل مسعى شاملاً لتقييم القدرات المعرفية وحل المشكلات للنماذج الأساسية. C-Eval، إبداع تعاوني من جامعة شانغهاي جياو تونغ وجامعة تسينغهوا وجامعة إدنبرة، يعمل كامتحان شامل لتقييم براعة نماذج اللغة الصينية، ويشمل 52 موضوعًا متنوعًا عبر مختلف الصناعات.
معيار Gaokao، الذي أنشأه فريق البحث المحترم في جامعة فودان، يستخدم أسئلة امتحان القبول بالجامعات الصينية كمجموعة بيانات، ويقدم فحصًا صارمًا لكفاءة النماذج الكبيرة في فهم اللغة الصينية والتفكير المنطقي.
إتقان بايتشوان-7B يمتد بسهولة إلى عالم اللغة الإنجليزية. في تقييم MMLU المحترم، يذهل baichuan-7B بنتيجة استثنائية قدرها 42.5 نقطة، متجاوزًا بسهولة النموذج الإنجليزي مفتوح المصدر المسبق التدريب LLaMA-7B والنموذج الصيني مفتوح المصدر ChatGLM-6B بهامش كبير.
المفتاح الأساسي للنجاح في تدريب النماذج واسعة النطاق يكمن في مجموعة التدريب نفسها. تقوم بايتشوان للتقنيات الذكية ببناء مجموعة تدريب مسبق عالية الجودة باجتهاد، مستمدة من بيانات تعلم صينية غنية ودمج بيانات إنجليزية عالية الجودة بسلاسة. يشمل هذا المزيج البياناتي مجموعة واسعة من بيانات الإنترنت الصينية والإنجليزية، وبيانات مفتوحة المصدر صينية وإنجليزية، بالإضافة إلى مجموعة كبيرة من المعرفة المنسقة بعناية.