أصبحت تقنية ChatGPT من OpenAI فيروسية في أقل من عام ولها بالفعل تأثير على طرق العمل ومستقبل الصناعة.
أصبحت تقنية ChatGPT من OpenAI فيروسية في أقل من عام ولها بالفعل تأثير على طرق العمل ومستقبل الصناعة. في بعض من أكبر الشركات العالمية، يستخدم ما يقرب من نصف الموظفين هذا النوع من التقنية يوميًا. لا حصر للشركات التي استثمرت في مجال الذكاء الاصطناعي، مسرعة لإطلاق منتجات جديدة، خاصة في الإنترنت والتعليم والألعاب وقطاعات أخرى نامية.
من المعروف جيدًا أن البيانات المستخدمة لتدريب نماذج اللغة الكبيرة (LLM) ونماذج التحويل الأخرى التي تدعم منتجات مثل ChatGPT وStable Diffusion وMidjourney كانت مصدرها في الأصل مصادر بشرية. تشمل هذه المصادر الكتب والمقالات والصور الفوتوغرافية وغيرها من الأعمال الأصلية بالكامل من الإنسان.
حجم معلمات النماذج واسعة النطاق في تزايد مستمر، من مليارات إلى عشرات المليارات، ثم إلى مئات المليارات. ويضاف إلى هذا الانفجار كمية البيانات اللازمة لتدريب الذكاء الاصطناعي، والتي تتزايد بشكل هائل. لنأخذ مثال GPT من OpenAI: من GPT-1 إلى GPT-3، زاد حجم مجموعة بيانات التدريب من 4.5 جيجابايت إلى 570 جيجابايت.
مؤخرًا، في مؤتمر Data+AI الذي نظمته Databricks، قدر Marc Andreessen، مؤسس a16z، أن البيانات الهائلة التي جمعها الإنترنت على مدى العقدين الماضيين هي سبب مهم لظهور موجة جديدة من الذكاء الاصطناعي. ويعتبر البيانات مصادر ممتازة لمواد التعلم لتدريب الذكاء الاصطناعي.
ومع ذلك، على الرغم من الكم الهائل من البيانات المفيدة وغير المفيدة التي تركها مستخدمو الإنترنت على الويب، فإن هذه البيانات قد تنفد قريبًا لتدريب الذكاء الاصطناعي.
تتوقع مقالة نشرتها Epoch، وهي منظمة أبحاث وتنبؤات في الذكاء الاصطناعي، أن البيانات النصية عالية الجودة ستنفد بين عامي 2023 و2027.
على الرغم من أن فريق البحث يعترف بأن طرق التحليل لها حدود خطيرة وأن عدم دقة النموذج مرتفعة، فمن الصعب إنكار أن الذكاء الاصطناعي يستهلك مجموعات البيانات بمعدل ينذر بالخطر.
مؤخرًا، نشر باحثون من جامعة كامبريدج وجامعة أكسفورد وجامعة تورنتو وجامعات أخرى مقالة تؤكد أن استخدام المحتوى المولد بالذكاء الاصطناعي لتدريب الذكاء الاصطناعي يمكن أن يؤدي إلى انهيار النماذج الجديدة.
وخلص الباحثون إلى: 'التعلم من البيانات المولدة بواسطة نماذج أخرى يؤدي إلى انهيار النموذج - عملية تدهور ينسى فيها النموذج التوزيع الحقيقي للبيانات الأساسية بمرور الوقت. هذه العملية حتمية، حتى في حالة تدريب مثالية على مدى فترة طويلة.'
ما هو السبب في أن استخدام 'البيانات المولدة' لتدريب الذكاء الاصطناعي يتسبب في انهيار النموذج؟ هل هناك طريقة لمنع ذلك؟
في هذه المرحلة، لا يزال الذكاء الاصطناعي في مرحلة التقليد البدائي للفكر البشري، ولا يزال جوهره برنامجًا إحصائيًا. يعتقد الباحثون أن تدريب الذكاء الاصطناعي بمحتوى مولّد بالذكاء الاصطناعي سينتج 'خطأ تقريب إحصائي'. في الواقع، خلال العملية الإحصائية، يتم تعزيز المحتوى ذو الاحتمالية الأعلى بشكل أكبر، ويتم تجاهل المحتوى ذو الاحتمالية الأقل باستمرار، وهو السبب الرئيسي لانهيار النموذج.
يؤثر ذلك على أداء النموذج وموثوقيته وأمانه. يحذر الباحثون من أن انهيار النموذج ظاهرة خطيرة تتطلب اهتمام مطوري نماذج اللغة الكبيرة والمستخدمين. 'نعتقد أن هذه المشكلة ستصبح أحد التحديات الرئيسية لمجتمع التعلم الآلي في السنوات القادمة'، كما قالوا.
لكن ليس كل أمل مفقود.
النهج الأول هو عزل البيانات. لمواجهة انهيار النموذج، يقترح فريق البحث فصل مصادر البيانات المولدة بشريًا عن المحتوى المولد بالذكاء الاصطناعي لتجنب تلوث البيانات النظيفة بواسطة الذكاء الاصطناعي التوليدي (AIGC).
والثاني هو استخدام البيانات الاصطناعية. في الواقع، تُستخدم البيانات المولدة خصيصًا للذكاء الاصطناعي بالفعل على نطاق واسع لتدريب الذكاء الاصطناعي. بالنسبة لبعض الممارسين، قد يكون القلق الحالي بشأن البيانات المولدة بالذكاء الاصطناعي التي تؤدي إلى انهيار النموذج مبالغًا فيه. لذلك، المفتاح هو إنشاء نظام فعال لتأكيد الجزء الصالح من البيانات المولدة بالذكاء الاصطناعي وتقديم ملاحظات بناءً على فعالية النموذج المدرب. أصبح استخدام OpenAI للبيانات الاصطناعية لتدريب النماذج إجماعًا داخل صناعة الذكاء الاصطناعي.
في الختام، على الرغم من مشكلة نضوب البيانات البشرية، فإن تدريب الذكاء الاصطناعي ليس بدون حلول. بفضل عزل البيانات واستخدام البيانات الاصطناعية، يمكن التغلب على مشكلة انهيار النموذج بشكل فعال ويمكن ضمان التطوير المستمر للذكاء الاصطناعي.