أقسام الوصول السريع ( مربع البحث )

إقرأ أيضا

Dioptra: أداة NIST الجديدة لتقييم وتحليل مخاطر الذكاء الاصطناعي AI وتحسين الأمان

أطلق المعهد الوطني للمعايير والتكنولوجيا (NIST)، و هو معهد تابع لوزارة التجارة الأمريكية التي تطور وتختبر التكنولوجيا للحكومة الأمريكية والشركات، أداة جديدة تحمل اسم Dioptra تهدف إلى تقييم وتحليل مخاطر النماذج الذكية.

 Dioptra المستوحاة من الجهاز الفلكي والمساحي الكلاسيكي هي منصة مفتوحة المصدر وقائمة على الويب أُطلقت لأول مرة في عام 2022، و لقد تم تصميمها لقياس كيفية تأثير الهجمات الخبيثة، خصوصًا الهجمات التي تُفسِد بيانات تدريب النماذج الذكية، على أداء نظام الذكاء الاصطناعي AI. 

أهداف Dioptra. 

 وكتب المعهد الوطني للمعايير والتكنولوجيا في بيان صحفي، كما أوضحت NIST  أن "اختبار تأثير الهجمات العدائية على نماذج التعلم الآلي هو أحد أهداف Dioptra." و ذكرت أن البرنامج مفتوح المصدر ومتاح للتنزيل مجاناً، مما يجعله أداة قيمة للشركات والهيئات الحكومية والشركات الصغيرة والمتوسطة لتقييم ادعاءات مطوري الذكاء الاصطناعي حول أداء أنظمتهم.

كما توفر Dioptra وسيلة لتقييم أداء النماذج الذكية في مواجهة التهديدات المحتملة، وتحسين معايير الأمان والموثوقية. و يمكن كذلك استخدام الأداة للبحث والمقارنة بين النماذج، بالإضافة إلى توفير منصة مشتركة لتقديم النماذج إلى التهديدات المحاكية في بيئة "red-teaming".

شراكات دولية و معايير أمان

ظهرت Dioptra جنبًا إلى جنب مع مستندات من NIST ومعهد أمان الذكاء الاصطناعي AI الذي تم إنشاؤه حديثًا، والتي تضع طرقًا لتخفيف بعض أخطار الذكاء الاصطناعي AI، مثل  إساءة استخدامه لإنتاج المواد الإباحية التي تتضمن أشخاصًا لم يوافقوا على تصويرهم أو نشر محتواهم الجنسي، أو إنتاج المحتوى الإباحي الذي يتم إنتاجه أو توزيعه بدون موافقة جميع الأطراف المعنية.  

و جاء ذلك بعد إطلاق معهد الأمان الذكاء الاصطناعي  AI في المملكة المتحدة أداة مشابهة تسمى Inspect التي تهدف إلى تقييم قدرات النماذج والسلامة العامة للنموذج. و تربط الولايات المتحدة الأمريكية  و المملكة المتحدة شراكة مستمرة لتطوير اختبارات متقدمة لنماذج الذكاء الاصطناعي، كما  تم الإعلان عنها في قمة أمان الذكاء الاصطناعي في المملكة المتحدة في Bletchley Park في نونبر من السنة الماضية.


 الأمر التنفيذي للرئيس جو بايدن Joe Biden

 

Dioptra جاءت نتيجة لأمر تنفيذي صادر عن الرئيس Joe Biden بشأن الذكاء الاصطناعي، الذي يفرض على NIST دوراً رئيسياً في اختبار أنظمة الذكاء الاصطناعي AI. كما يشمل الأمر التنفيذي أيضاً وضع معايير لأمان الذكاء الاصطناعي وأمنه، بما في ذلك متطلبات الشركات المطورة للنماذج، مثل Apple، لإخطار الحكومة الفيدرالية ومشاركة نتائج جميع اختبارات السلامة قبل إطلاقها للجمهور.


 تحديات اختبارات الذكاء الاصطناعي


كما أشرنا سابقًا، تعتبر اختبارات الذكاء الاصطناعي من المهام الصعبة، خاصةً أن النماذج الذكية الأكثر تطورًا اليوم تُعد بمثابة صناديق سوداء تخفي بنيتها التحتية وبيانات التدريب والتفاصيل الرئيسية الأخرى التي تحتفظ بها الشركات المطورة. وأظهر تقرير حديث صدر هذا الشهر عن معهد Ada Lovelace، وهو معهد أبحاث غير ربحي مقره المملكة المتحدة، أن التقييمات وحدها لا تكفي لتحديد سلامة نموذج الذكاء الاصطناعي في العالم الحقيقي، جزئيًا بسبب السياسات الحالية التي تسمح لمزودي الذكاء الاصطناعي باختيار التقييمات التي يرغبون في تنفيذها بشكل انتقائي.

قيمة Dioptra

لا تزعم NIST أن Dioptra قادرة على إزالة جميع المخاطر عن النماذج تمامًا. ومع ذلك، تشير الوكالة إلى أن Dioptra تستطيع تسليط الضوء على أنواع الهجمات التي قد تؤثر سلبًا على أداء أنظمة الذكاء الاصطناعي، مما يساعد في تحديد مدى تأثير هذه الهجمات على الأداء وتحسين فعالية النماذج في مواجهتها.

وفي الختام، ففي ظل التطور السريع لتكنولوجيا الذكاء الاصطناعي، تأتي أداة Dioptra كخطوة مهمة نحو تعزيز أمان وموثوقية النماذج الذكية. من خلال توفير منصة مفتوحة المصدر لتقييم وتحليل المخاطر، تتيح Dioptra للشركات والهيئات الحكومية والمستخدمين الأفراد فهماً أعمق للتهديدات المحتملة وكيفية التعامل معها. ومع استمرار الشراكات الدولية وجهود الأبحاث، نتطلع إلى مستقبل يتسم بمزيد من الأمان في استخدام تقنيات الذكاء الاصطناعي، حيث تظل الابتكارات مثل Dioptra في طليعة هذه المساعي.


تعليقات

Translate




حجم الخط
+
16
-
تباعد السطور
+
2
-