- اكتشف باحثو أنثروبيك ثغرة جديدة في نماذج اللغة الكبيرة (LLMs) تُسمى 'many-shot jailbreaking'، حيث يمكن لتهيئة النموذج بعدة أسئلة غير ضارة أن تؤدي في النهاية إلى تقديم إجابات غير مناسبة، مثل تعليمات لصنع قنبلة.
- تُعزى الثغرة إلى زيادة'نافذة السياق'في أحدث نماذج LLMs، مما يسمح لها بالاحتفاظ بكميات كبيرة من البيانات في الذاكرة قصيرة المدى.
- لحل هذه المشكلة، يعمل الباحثون على تصنيف الطلبات ووضعها في سياقها قبل إرسالها إلى النموذج، وذلك لتخفيف المخاطر مع الحفاظ على مستويات الأداء.
ثغرة جديدة في نماذج اللغة الكبيرة: يسمح اختراق many-shot jailbreaking بالحصول على إجابات غير مناسبة عن طريق تهيئة النموذج بأسئلة غير ضارة.
باحثو أنثروبيك يكتشفون خللاً في نماذج LLMs
كيف تجعل الذكاء الاصطناعي يجيب على سؤال لا ينبغي له الإجابة عليه؟ هناك العديد من تقنيات 'jailbreak'، وقد اكتشف باحثو أنثروبيك مؤخراً واحدة جديدة، حيث يمكن إقناع نماذج اللغة الكبيرة (LLMs) بإخبارك بكيفية صنع قنبلة إذا قمت بتهيئتها أولاً بعشرات الأسئلة الأقل خطورة.
تم توثيق هذا البحث في مقالة ومشاركته مع مجتمع الذكاء الاصطناعي، مما يكشف أن نماذج LLMs المزودة بنوافذ سياق أوسع تميل إلى الأداء بشكل أفضل في المهام المختلفة عند تزويدها بالعديد من الأمثلة في التلقين. يشمل ذلك الأسئلة التافهة، حيث يؤدي التعرض المتكرر إلى تحسين دقة الإجابات بمرور الوقت. ومع ذلك، يمتد نفس الآلية إلى الإجابات على الاستفسارات غير المناسبة، مما يزيد من احتمالية استجابة النموذج بعد تهيئته بسلسلة من الأسئلة غير الضارة.
اقرأ أيضاً:إساءة استخدام الذكاء الاصطناعي؟ ديزني تتجنب الانتقادات بفضل ملصق «Loki»
قلق متزايد بشأن إساءة استخدام الذكاء الاصطناعي
يمكن أن يثير هذا الخلل ضجة في قطاع التكنولوجيا، مما يثير قلق الجمهور بشأن إساءة استخدام الذكاء الاصطناعي. على الرغم من أن الآلية الدقيقة وراء هذا السلوك لا تزال غير واضحة، يفترض الباحثون أنها تنطوي على قدرة النموذج على تمييز نية المستخدم بناءً على السياق المقدم.
لقد أبلغ الفريق بالفعل أقرانه، وحتى منافسيه، بهذا الهجوم، على أمل أن 'يعزز ذلك ثقافة يتم فيها مشاركة هذا النوع من الاستغلال بشكل مفتوح بين مقدمي نماذج LLMs والباحثين'. ومع ذلك، فإن تخفيف هذه الثغرة يمثل تحديات، لأن الحد من نافذة السياق يؤثر سلباً على أداء النموذج.