تواجه نماذج الذكاء الاصطناعي التوليدي Generative AI models تحديات كبيرة في ضمان السلامة والدقة، حيث أظهرت الدراسات الحديثة وجود قصور في التقييمات الحالية. وسيتناول هذا المقال الأسباب الكامنة وراء هذه القصور، وكيف تؤثر على الأداء في التطبيقات العملية. سنستعرض الجهود المبذولة من قبل مختلف المؤسسات لتحسين معايير التقييم، ونسلط الضوء على الحاجة الملحة لإعادة النظر في الاختبارات لضمان أمان الذكاء الاصطناعي في العالم الحقيقي، ولكنه فعلى الرغم من الطلب المتزايد على سلامة الذكاء الاصطناعيAI و مساءلته، فقد تكون الاختبارات والمعايير الحالية غير كافية، وفقًا لتقرير جديد.
إن نماذج الذكاء الاصطناعي التوليدي Generative AI models وهي النماذج التي يمكنها تحليل وإنتاج النصوص و الصور و الموسيقى و الفيديوهات وغيرها - تخضع لتدقيق متزايد بسبب ميلها للخطأ و سلوكها غير المتوقع بشكل عام. وحاليا تقترح المنظمات من الوكالات الحكومية على شركات التكنولوجيا الكبرى معايير جديدة لاختبار سلامة هذه النماذج.
و بحلول نهاية السنة الماضية، قامت شركة Scale AI الناشئة بإنشاء مختبر مخصص لتقييم مدى توافق النماذج مع إرشادات السلامة. وفي هذا الشهر، أصدرت كل من NIST و U.K. AI Safety Institute أدوات مصممة لتقييم مخاطر النماذج. و لكن يرى الباحثون في هذا المجال أن هذه الاختبارات و الأساليب التي تفحص النماذج غير كافية.
كما قام كذلك معهد Ada Lovelace Institute (ALI)، وهو منظمة بحثية غير ربحية مقرها المملكة المتحدة، بدراسة تضمنت مقابلات مع خبراء من مختبرات أكاديمية، و مجتمع مدني، و منتجي النماذج، بالإضافة إلى مراجعة الأبحاث الحديثة حول تقييمات سلامة الذكاء الاصطناعي AI. و وجد المؤلفون المشاركون أن التقييمات الحالية، رغم فائدتها، ليست شاملة، ويمكن التلاعب بها بسهولة، ولا تعطي بالضرورة مؤشرًا على كيفية تصرف النماذج في سيناريوهات العالم الحقيقي.
و قال Elliot Jones، الباحث الرئيسي في ALI والمؤلف المشارك للتقرير، لموقع TechCrunch: "فسواء كان هاتفًا ذكيًا أو دواءً موصوفًا أو سيارة، نتوقع أن تكون المنتجات التي نستخدمها آمنة وموثوقية، أي أنه في هذه القطاعات، تُختبر المنتجات بدقة لضمان سلامتها قبل نشرها"، وأضاف Jones: "هدفت أبحاثنا إلى فحص قيود النهج الحالية لتقييم سلامة الذكاء الاصطناعي AI، وتقييم كيفية استخدام التقييمات حاليًا، واستكشاف استخدامها كأداة لصانعي السياسات والمنظمين."
المعايير والتقييمات المعاكسة.
قام المؤلفون المشاركون في الدراسة أولاً بمراجعة الأدبيات الأكاديمية لإنشاء نظرة عامة على الأضرار والمخاطر التي تشكلها نماذج الذكاد الاصطناعي AI اليوم، وحالة تقييمات نماذج الذكاء الاصطناعي الحالية. ثم قاموا بمقابلة 16 خبيرًا، بما في ذلك أربعة موظفين في شركات تقنية تطور أنظمة ذكاء اصطناعي توليدي Generative AI.
و وجدت هذه الدراسة اختلافات حادة داخل صناعة الذكاء الاصطناعي AI حول أفضل مجموعة من الأساليب والتصنيفات لتقييم النماذج، لأن بعض هذه التقييمات اختبرت فقط مدى توافق النماذج مع المعايير في المختبر، وليس كيف يمكن أن تؤثر هذه النماذج على المستخدمين في العالم الحقيقي. بينما استندت تقييمات أخرى على اختبارات تم تطويرها لأغراض البحث، وليس لتقييم النماذج الإنتاجية - ومع ذلك، أصر البائعون على استخدام هذه التقييمات في الإنتاج.
كما أشار الخبراء في الدراسة إلى صعوبة تحديد أداء النموذج بناءً على نتائج المعايير، وعدم وضوح ما إذا كانت هذه المعايير تعكس قدرات النموذج الحقيقية. على سبيل المثال، قد يحقق النموذج نتائج جيدة في امتحان نقابة المحامين، لكن ذلك لا يعني بالضرورة أنه سيتمكن من حل تحديات قانونية أكثر تعقيدًا.
وذكر الخبراء أيضًا إلى مشكلة تلوث البيانات، حيث يمكن أن تبالغ نتائج المعايير في تقدير أداء النموذج إذا تم تدريب النموذج على نفس البيانات التي يتم اختباره عليها. يتم اختيار المعايير، في كثير من الحالات، من قبل المنظمات ليس لأنها أفضل أدوات للتقييم، ولكن من أجل الراحة وسهولة الاستخدام، كما قال الخبراء.
و قالت Mahi Hardalupas، الباحثة في ALI و المؤلفة المشاركة للدراسة، لـموقع TechCrunch: "يمكن التلاعب بمعايير التقييم من قبل المطورين
الذين قد يدربون النماذج على نفس مجموعة البيانات التي سيتم استخدامها لتقييم النموذج
، مما يشبه رؤية ورقة الامتحان قبل الامتحان. كما يختار المطورون التقييمات التي سيتم استخدامها بشكل استراتيجي. كما أن النسخة التي يتم تقييم النموذج عليها مهمة أيضًا، حيث يمكن للتغييرات الصغيرة أن تؤدي إلى تغييرات غير متوقعة في السلوك وتتجاوز ميزات السلامة المدمجة."
كما وجدت دراسة ALI أيضًا مشاكل في "الفريق الأحمر" (red-teaming)، وهي عملية تكليف أشخاص أو فرق "لمهاجمة" النموذج للكشف عن الثغرات والعيوب. و تستخدم العديد من شركات الذكاء الاصطناعي AI الناشئة، مثل OpenAI و Anthropic، الفريق الأحمر لتقييم النماذج. ولكن، هناك نقص في المعايير المتفق عليها لهذه العملية، مما يجعل من الصعب تقييم فعالية الجهود المبذولة.
كما أخبر الخبراء مؤلفي الدراسة بأن العثور على أشخاص لديهم المهارات والخبرات اللازمة للفريق الأحمر يمكن أن يكون صعبًا، وأن الطبيعة اليدوية لعمل الفريق الأحمر تجعله مكلفًا وشاقًا، مما يشكل عقبات أمام المنظمات الصغيرة التي لا تمتلك الموارد اللازمة.
الحلول المحتملة
بالإضافة إلى ذلك، فإن السببين الرئيسيين لعدم تحسين تقييمات الذكاء الاصطناعي هما الضغط لإطلاق النماذج بسرعة وعدم إجراء اختبارات كافية قبل الإطلاق، مما قد يؤدي إلى ظهور مشاكل مستقبلية.
وقال Jones، أحد المتحدثين من شركة تطور نماذج أساسية، إلى أن هناك ضغطًا متزايدًا داخل الشركات لإطلاق النماذج بسرعة. و هذا الضغط يجعل من الصعب إجراء التقييمات بجدية. وأضاف أن مختبرات الذكاء الاصطناعي الرئيسية تطلق النماذج بسرعة تفوق قدرتها أو قدرة المجتمع على ضمان سلامتها وموثوقيتها.
و وصف أحد المشاركين في دراسة ALI تقييم النماذج من أجل السلامة بأنها مشكلة "غير قابلة للحل". لكن ما هو الأمل الذي تحمله الصناعة والجهات التنظيمية في إيجاد حلول لهذه المشكلة؟
كما يعتقد Mahi Hardalupas، الباحث في ALI، أن هناك طريقًا للمضي قدمًا، ولكن سيتطلب ذلك المزيد من التعاون والمشاركة من الهيئات العامة. و بخصوص هذا الأمر، أوضح قائلاً: "يجب على المنظمين وصانعي السياسات أن يكونوا واضحين بشأن متطلباتهم من التقييمات. وفي الوقت نفسه، ينبغي على مجتمع التقييم أن يتسم بالشفافية حيال القيود الحالية وإمكانات التقييمات."
بناءً على ما سبق، يقترح Hardalupas أن تطالب الحكومات بمزيد من المشاركة العامة في تطوير التقييمات، وتنفيذ تدابير لدعم "نظام بيئي" من الاختبارات من الطرف الثالث. و أن يتضمن ذلك برامج لضمان الوصول المنتظم إلى النماذج والبيانات المطلوبة.
و في هذا الإطار، يعتقد Jones أنه قد يكون من الضروري تطوير تقييمات "خاصة بالسياق" تتجاوز ببساطة اختبار كيفية استجابة النموذج لطلب، وبدلاً من ذلك، يجب أن تأخذ في الاعتبار أنواع المستخدمين الذين قد يؤثر عليهم النموذج (مثل الأشخاص من خلفيات أو أجناس أو أعراق معينة) والطرق التي قد تتعرض بها الضمانات للهجوم.
كما أضاف Jones، "سيتطلب ذلك استثمارًا في العلوم الأساسية للتقييمات لتطوير تقييمات أكثر صلابة وقابلة للتكرار و تستند إلى فهم كيفية عمل نموذج الذكاء الاصطناعي". ومع ذلك، قد لا يكون هناك ضمان كامل بأن النموذج سيكون آمنًا.
كما ذكر Hardalupas، "السلامة ليست خاصية للنماذج". وأضاف: "تحديد ما إذا كان النموذج 'آمنًا يتطلب فهم السياقات التي يستخدم فيها، ومن يتم شراؤه أو إتاحته له، وما إذا كانت الضمانات الموجودة كافية لتقليل تلك المخاطر. كما يمكن لتقييمات النموذج الأساسي أن تخدم غرضًا استكشافيًا لتحديد المخاطر المحتملة، لكنها لا يمكن أن تضمن أن النموذج آمن، ناهيك عن كونه 'آمن تمامًا'. وافق العديد من المشاركين في مقابلتنا على أن التقييمات لا يمكن أن تثبت أن النموذج آمن، ويمكنها فقط الإشارة إلى أن النموذج غير آمن."
و في الختام، تسلط الدراسة الضوء على الحاجة الملحة لتطوير معايير تقييم أكثر فاعلية وشمولية لنماذج الذكاء الاصطناعي. على الرغم من الجهود المبذولة من قبل المؤسسات المختلفة، فإن التقييمات الحالية تعاني من قصور كبير، مما يستدعي إشراك صانعي السياسات والمجتمع الأكاديمي في إيجاد حلول مبتكرة. لان التقدم في هذا المجال يتطلب استثماراً في علوم التقييم وتطوير اختبارات أكثر دقة تلبي احتياجات العالم الحقيقي، مع ضمان أن تكون هذه النماذج فعلاً آمنة وموثوقة.