طلبات تبدو بريئة قد تقود وكيل الذكاء الاصطناعي إلى تنفيذ هدف ضار

أظهرت دراسة أمنية على وكلاء الذكاء الاصطناعي أن رفض الطلب الضار في بداية المحادثة لا يكفي لضمان الأمان. فقد طوّر باحثون في المعهد الفدرالي السويسري للتكنولوجيا في لوزان إطاراً اختبارياً باسم STING، يقسّم الهدف المحظور إلى طلبات تبدو عادية عند النظر إلى كل واحد منها منفرداً، ثم يغيّر الخطوة التالية وفق استجابة الوكيل.

الرقم الأهم: شمل التقييم 176 حالة اختبار مشتقة من 44 سيناريو ضاراً داخل بيئات تتيح للوكلاء استخدام أدوات.

كيف يتحول الطلب العادي إلى جزء من خطة ضارة؟

تختبر كثير من أنظمة الحماية النموذج بطلب واضح مثل تنفيذ عملية اختراق، وغالباً يرفضه. لكن الهدف نفسه يمكن تفكيكه إلى مهام صغيرة لا تكشف النية الكاملة. تظهر خطورة ذلك مع وكيل الذكاء الاصطناعي لأنه لا يكتفي بكتابة إجابة، بل قد يتصفح المواقع أو يتعامل مع ملفات وخدمات وينفذ إجراءات حقيقية.

يتولى جزء من STING رسم خطة متعددة المراحل وصياغة شخصية تبدو بريئة. ثم يرسل جزء آخر الطلبات إلى الوكيل المستهدف، ويعدّلها بعد كل رفض أو استجابة ناقصة. ويستخدم الإطار مقيّمين آليين، أحدهما يرصد الرفض والآخر يحدد ما إذا كانت المرحلة المطلوبة قد اكتملت.

ماذا كشفت النتائج؟

اعتمدت الورقة المقدمة في ICML 2026 على 44 سلوكاً أساسياً، ولكل سلوك أربع صيغ، ليصل المجموع إلى 176 حالة. وشملت الأنظمة المستهدفة وكلاء مبنيين على GPT-5.1 وGemini 3 Flash وQwen3-Next وClaude Sonnet 4.5 وDeepSeek-V3.2، مع اختلاف نطاق الاختبار بين النماذج واللغات.

رفع STING مقدار إنجاز المهام المحظورة بنسبة وصلت إلى 107.1 في المئة مقارنة بالطلب المباشر المقابل. هذه زيادة نسبية داخل معيار اختباري محدد، وليست دليلاً على أن جميع الوكلاء أصبحوا أكثر خطراً بالمقدار نفسه. فقد اختلفت النتائج باختلاف النموذج والسيناريو واللغة وطريقة القياس.

شملت التجارب الإنجليزية وست لغات أخرى. ولم تكن اللغات الأقل وفرة في بيانات التدريب أكثر عرضة للهجوم بصورة منتظمة، خلافاً لما ظهر في بعض دراسات روبوتات المحادثة. مع ذلك، قد يؤثر الانتقال بين اللغات أثناء مراحل الخطة في النتيجة، ما يجعل تقييم المحادثة كاملة أكثر فائدة من ترجمة طلب منفرد.

ما الاختبار الذي تحتاجه الأنظمة المقبلة؟

ينبغي للحماية أن تُتابِع تسلسل النية عبر الرسائل واستدعاءات الأدوات، لا أن تحكم على كل خطوة بمعزل عن غيرها. التحدي هو اكتشاف تراكم الأفعال المباحة ظاهرياً نحو غاية محظورة، من دون تعطيل الأعمال المشروعة التي تستخدم الأدوات نفسها.

يشير شرح EPFL للدراسة إلى أن الباحثين يريدون توسيع الإطار ليشمل الأنظمة متعددة الوكلاء. وستحتاج النتيجة إلى تكرار مستقل، ومراجعة بشرية لأحكام المقيمين الآليين، وتجارب بصلاحيات تشبه بيئات الإنتاج. وقد عُرضت الورقة في المؤتمر الدولي لتعلم الآلة 2026.