NIST تطلق Dioptra لاختبار أمان نماذج الذكاء الاصطناعي

يتم تسليط الضوء على إطلاق NIST لأداة Dioptra لاختبار أمان نماذج الذكاء الاصطناعي من قبل BTW Media لأن الأدلة المنشورة تربطه بالبنية التحتية للإنترنت أو الحوكمة أو التبعيات التشغيلية أو وضوح السوق.

• أصدر المعهد الوطني للمعايير والتقنية (NIST) أداة Dioptra مفتوحة المصدر، المصممة لقياس تأثير الهجمات الضارة على أنظمة الذكاء الاصطناعي، وخاصة تلك التي تستهدف بيانات التدريب.
• تهدف هذه الأداة إلى مساعدة الشركات والمستخدمين على تقييم وتتبع المخاطر المرتبطة بالذكاء الاصطناعي، حيث تعمل كمنصة للتحليل المقارن واختبار نماذج الذكاء الاصطناعي.

رأينا
أعاد المعهد الوطني للمعايير والتقنية (NIST) إطلاق Dioptra، وهي أداة ويب مفتوحة المصدر تقيم نقاط الضعف وتدهور أداء أنظمة الذكاء الاصطناعي نتيجة للهجمات الضارة، وخاصة تلك التي «تُسمّم» بيانات التدريب. تهدف هذه الأداة إلى مساعدة المؤسسات على تقييم وإدارة المخاطر المرتبطة بالذكاء الاصطناعي، من خلال توفير منصة للتحليل المقارن واختبار نماذج الذكاء الاصطناعي ضد تهديدات محاكاة.
-راي لي، صحفية في BTW

ما الذي حدث

أعاد المعهد الوطني للمعايير والتقنية (NIST) إصدار Dioptra، وهي أداة ويب مفتوحة المصدر تم إطلاقها لأول مرة في عام 2022.Dioptraصُممت لقياس تأثير الهجمات الضارة على أداء أنظمة الذكاء الاصطناعي. يمكن لهذه الأداة المعيارية أن تساعد الشركات والمستخدمين على تقييم وتحليل وتتبع المخاطر المرتبطة بالذكاء الاصطناعي، حيث تعمل كمنصة للتحليل المقارن والبحث في النماذج، بالإضافة إلى تعريضها لتهديدات محاكاة في بيئة «اختبار الاختراق» (red-teaming). ويؤكد NIST أن Dioptra يمكنها تقديم رؤى حول أنواع الهجمات التي قد تؤدي إلى تدهور أداء نظام الذكاء الاصطناعي وقياس هذا التأثير.

كما نشر NIST وثائق من معهده الجديد لأمن الذكاء الاصطناعي، والتي تصف استراتيجيات للتخفيف من مخاطر الذكاء الاصطناعي، مثل إمكانية إساءة استخدامه لتوليد مواد إباحية غير توافقية. يأتي هذا الجهد كجزء من مبادرة أوسع عقب الأمر التنفيذي للرئيس جو بايدن بشأن الذكاء الاصطناعي. يلزم الأمر التنفيذي الشركات التي تطور نماذج الذكاء الاصطناعي، مثل Apple، بإخطار الحكومة الفيدرالية ومشاركة نتائج جميع اختبارات السلامة قبل نشر هذه النماذج علنًا. وبالتالي، فإن تطوير ونشر Dioptra يمثلان خطوات مهمة في التعاون المستمر بين الولايات المتحدة والمملكة المتحدة لتطوير اختبار وسلامة نماذج الذكاء الاصطناعي.

اقرأ أيضاً:NIST تطلق منصة لتقييم الذكاء الاصطناعي التوليدي

اقرأ أيضاً:وزير سنغافوري يؤكد على ضرورة وجود إطار عالمي للذكاء الاصطناعي

لماذا هذا مهم

يمثل هذا تقدماً كبيراً في مجال أمن وإدارة المخاطر المرتبطة بالذكاء الاصطناعي، حيث يوفر إعادة إصدار أداة Dioptra مورداً هاماً للمطورين ومستخدمي أنظمة الذكاء الاصطناعي لفهم وتقييم قابلية نماذج الذكاء الاصطناعي للهجمات الضارة بشكل أفضل. من خلال الهجمات المحاكاة واختبارات «اختبار الاختراق» (red-teaming)، تساعد Dioptra في تحديد وقياس التهديدات الأمنية المحتملة، مما يسهل تصميم ونشر أنظمة ذكاء اصطناعي أكثر أماناً. وهذا أمر ضروري لحماية بيانات المستخدمين، والحفاظ على الخصوصية، ومنع إساءة استخدام تقنيات الذكاء الاصطناعي.

علاوة على ذلك، فإن إطلاق Dioptra هو استجابة للأمر التنفيذي لجو بايدن بشأن الذكاء الاصطناعي، الذي يؤكد على أهمية أمن وشفافية الذكاء الاصطناعي ويطلب من الشركات التي تطور نماذج الذكاء الاصطناعي مشاركة نتائج اختبارات السلامة مع الحكومة. لن يساهم هذا فقط في تعزيز ثقة الجمهور في تكنولوجيا الذكاء الاصطناعي، بل سيساعد أيضاً في وضع المعيار لحوكمة الذكاء الاصطناعي العالمية.