أحدث نموذج من OpenAI يتصدى لخدعة «تجاهل جميع التعليمات السابقة»

يتم تسليط الضوء على أحدث نموذج من OpenAI الذي يتصدى لخدعة 'تجاهل جميع التعليمات السابقة' من قبل BTW Media لأن الأدلة المنشورة تربطه بالبنية التحتية للإنترنت أو الحوكمة أو التبعيات التشغيلية أو رؤية السوق.

• قدمت OpenAI نموذج GPT-4o Mini، الذي يستخدم تقنية أمنية تسمى «هرمية الأوامر» لحماية روبوتات الدردشة من الأوامر الخادعة.
• يأتي تحديث GPT-4o Mini من OpenAI في وقت مناسب، نظرًا للنقاشات الجارية حول أمن وشفافية الذكاء الاصطناعي، مع دعوات داخلية وخارجية لتحسين الممارسات.

رأينا
في سياق التطور السريع للذكاء الاصطناعي، تعتبر مسألة الأمان والموثوقية في صلب اهتمامات القطاع. مؤخرًا، أطلقت OpenAI أحدث نموذج لها، GPT-4o Mini، الذي يهدف إلى مواجهة تحدٍ تقني طويل الأمد: منع روبوتات الدردشة من التلاعب بها بواسطة أوامر ضارة. لا يوضح هذا الابتكار تقدم الذكاء الاصطناعي في مجال الحماية الذاتية فحسب، بل يعكس أيضًا جهود شركات التكنولوجيا لتحسين تجربة المستخدم وتأمين البيانات.
–إيلودي تشيان، صحفية في BTW

ماذا حدث

قدمت OpenAI نموذج GPT-4o Mini، وهو نموذج جديد يتصدى لخدعة «تجاهل جميع التعليمات السابقة». يستخدم هذا النموذج تقنية أمنية تسمى «هرمية الأوامر»، والتي تعزز دفاعات النموذج ضد الإساءة والتعليمات غير المصرح بها. النماذج المزودة بهذه التقنية تعطي أولوية لتعليمات المطور الأصلية على أي محاولة من المستخدم لخداعه.

Olivier Godement، الذي يدير منتج منصة API في OpenAI، أوضح أن هرمية الأوامر ستمنع عمليات حقن التعليمات التي انتشرت (أي خداع الذكاء الاصطناعي بأوامر ماكرة) التي نراها في كل مكان على الإنترنت.

«هذا يعلم النموذج بشكل أساسي اتباع رسالة النظام الخاصة بالمطور والامتثال لها فعليًا»، قال Godement. وعندما سُئل عما إذا كان هذا يعني أنه يجب أن يوقف هجوم «تجاهل جميع التعليمات السابقة»، أجاب Godement: «هذا بالضبط.»

«في حالة وجود تعارض، يجب عليك أولاً اتباع رسالة النظام. لذلك أجرينا [تقييمات]، ونتوقع أن تجعل هذه التقنية الجديدة النموذج أكثر أمانًا من ذي قبل»، أضاف.

يتماشى هذا الابتكار مع هدف OpenAI لتطوير وكلاء رقميين مؤتمتين بالكامل. أعلنت الشركة مؤخرًا أنها على وشك إنشاء مثل هؤلاء الوكلاء. تعتبر طريقة هرمية الأوامر ضرورية لضمان الأمان قبل النشر الواسع لهؤلاء الوكلاء. بدون مثل هذه الإجراءات، قد يتم التلاعب بالوكيل المخصص لمهام بسيطة مثل كتابة البريد الإلكتروني للقيام بأعمال ضارة، مثل تسريب معلومات حساسة.

اقرأ أيضًا:OpenAI تطلق GPT-4o Mini، نسخة أرخص من نموذج الذكاء الاصطناعي الخاص بها

اقرأ أيضًا:اختراق هاكر لـ OpenAI وسرقة تفاصيل عن تقنية الذكاء الاصطناعي الداخلية

لماذا هذا مهم

نماذج اللغة الكبيرة الحالية، كما توضح ورقة البحث، لا تفرق بين تعليمات المستخدم وتعليمات النظام. هرمية الأوامر في GPT-4o Mini ترفع تعليمات النظام إلى أعلى أولوية، بينما يتم خفض رتبة التعليمات غير المتوافقة. يتم تدريب النموذج على تحديد وتجاهل التعليمات الضارة، والرد بعدم القدرة على المساعدة.

«نتصور أن أنواعًا أخرى من الحراسات الأكثر تعقيدًا يجب أن توجد في المستقبل، خاصة لحالات الاستخدام الوكيلية، على سبيل المثال، الإنترنت الحديث محمل بأجهزة أمان تتراوح من متصفحات الويب التي تكتشف المواقع الخطرة إلى مصنفات البريد العشوائي القائمة على التعلم الآلي لمحاولات التصيد»، تذكر ورقة البحث.

تحديث GPT-4o Mini من OpenAI هو خطوة مهمة نحو تحسين أمان الذكاء الاصطناعي. تأتي هذه المبادرة في وقت مناسب، نظرًا للنقاشات الجارية حول أمن وشفافية الذكاء الاصطناعي، مع دعوات داخلية وخارجية لتحسين الممارسات.

كانت هناك رسالة مفتوحة من موظفين حاليين وسابقين في OpenAI تطالب بممارسات أفضل للأمان والشفافية، وتم حل الفريق المسؤول عن الحفاظ على الأنظمة متوافقة مع المصالح البشرية (مثل الأمان)، وكتبJan Leike، الباحث الرئيسي في OpenAI الذي استقال، في منشور أن «ثقافة الأمان وعملياته أصبحت ثانوية بالنسبة للمنتجات البراقة» في الشركة.

نظرًا لأن الثقة في موثوقية الذكاء الاصطناعي أمر بالغ الأهمية، فإن تركيز OpenAI على ميزات الأمان ضروري لاستعادة الثقة والسماح للذكاء الاصطناعي بتولي أدوار أكثر أهمية في إدارة حياتنا الرقمية. هذا الالتزام بالأمان هو خطوة حاسمة نحو ذكاء اصطناعي موثوق وجدير بالثقة.