NIST تعيد إطلاق أداة Dioptra لأمن الذكاء الاصطناعي

يتم تسليط الضوء على مقال 'إعادة إطلاق NIST أداة Dioptra لمواجهة تهديدات أمن الذكاء الاصطناعي' من قبل BTW Media لأن الأدلة المنشورة تربطه بالبنية التحتية للإنترنت والحوكمة والتبعيات التشغيلية أو الرؤية السوقية.

• أعاد المعهد الوطني للمعايير والتكنولوجيا (NIST) إطلاق Dioptra، وهي أداة اختبار مصممة لقياس تأثير الهجمات الخبيثة على أنظمة الذكاء الاصطناعي.
• طبيعتها مفتوحة المصدر تجعلها في متناول الوكالات الحكومية والشركات الصغيرة، وتعزز الشفافية والثقة في تقنيات الذكاء الاصطناعي.

رأينا
أتذكرون عندما كنا جميعًا في حالة ذعر بسبب التزييف العميق (Deepfakes)؟ حسنًا، عادت Dioptra من NIST مثل فارس إلكتروني بدرع لامع، جاهزة لاختبار متانة الذكاء الاصطناعي ضد الهجمات الخبيثة. إنه كأن يكون لديك خدمة أمنية للذكاء الاصطناعي تضمن عدم خداعه ببيانات مزيفة أو فقدان السيطرة عليه. لكن لنكن واقعيين، إنه ليس حلاً سحريًا. مع GPT-4 وغيره من النماذج الكبيرة، يبدو نطاق Dioptra محدودًا بعض الشيء، حيث يركز فقط على النماذج المستضافة محليًا. ومع ذلك، فهي خطوة في الاتجاه الصحيح.
– ميوريو هوانغ، صحفي في BTW

ما الذي حدث

قامالمعهد الوطني للمعايير والتكنولوجيا (NIST)، وهي وكالة تابعة لوزارة التجارة الأمريكية، بإعادة إطلاقDioptra، وهي أداة اختبار مصممة لقياس تأثير الهجمات الخبيثة على أنظمة الذكاء الاصطناعي. تم تقديم Dioptra في الأصل في عام 2022، وهي أداة ويب معيارية مفتوحة المصدر تساعد الشركات والأفراد على تقييم وتحليل وتتبع مخاطر الذكاء الاصطناعي، مع التركيز على الهجمات التي "تسمم" بيانات التدريب لنماذج الذكاء الاصطناعي.

تهدف Dioptra إلى دعم التحليل المقارن والبحث في نماذج الذكاء الاصطناعي من خلال توفير منصة مشتركة لتعريض النماذج لتهديدات محاكاة في بيئة "Red-Teaming". يرافق هذا الإطلاق الجديد وثائق من NIST ومعهد سلامة الذكاء الاصطناعي (AI Safety Institute) الذي تم تأسيسه مؤخرًا، والتي تصف استراتيجيات للتخفيف من مخاطر الذكاء الاصطناعي، بما في ذلك إنشاء مواد إباحية غير توافقية.

اقرأ أيضًا:وزير سنغافوري يؤكد ضرورة وجود إطار عالمي للذكاء الاصطناعي

اقرأ أيضًا:NIST تطلق منصة لتقييم الذكاء الاصطناعي التوليدي

لماذا هذا مهم

إعادة إطلاق Dioptra مهمة لمعالجة المخاوف بشأن سلامة وموثوقية نماذج الذكاء الاصطناعي في مختلف القطاعات. تحاكي الأداة وتقيّم الهجمات العدائية، وتساعد المؤسسات على تحديد نقاط الضعف وتطوير استراتيجيات دفاعية. طبيعتها مفتوحة المصدر تجعلها في متناول الوكالات الحكومية والشركات الصغيرة، وتعزز الشفافية والثقة في تقنيات الذكاء الاصطناعي.

يتماشى هذا الإطلاق الجديد مع الأمر التنفيذي للرئيس جو بايدن بشأن الذكاء الاصطناعي، الذي يطلب من NIST المساعدة في اختبار أنظمة الذكاء الاصطناعي ووضع معايير لسلامة الذكاء الاصطناعي. يلزم الأمر الشركات بإخطار الحكومة الفيدرالية ومشاركة نتائج اختبارات السلامة قبل نشر نماذج الذكاء الاصطناعي، لضمان التطوير المسؤول وتقليل المخاطر على المجتمع.

على الرغم من قيوده، مثل دعم النماذج القابلة للتنزيل محليًا فقط وليس تلك التي يمكن الوصول إليها عبر واجهات برمجة التطبيقات مثل GPT-4، إلا أن Dioptra تمثل تقدمًا حاسمًا في تقييم مخاطر الذكاء الاصطناعي. فهي تساعد في فهم كيف يمكن للهجمات أن تؤثر على أداء الذكاء الاصطناعي، وتوفر بيانات حول هذه التأثيرات، مما يعزز سلامة الذكاء الاصطناعي ويساهم في تطوير أنظمة ذكاء اصطناعي قوية وموثوقة.