كيف تستغل الهجمات متعددة الجولات وكلاء الذكاء الاصطناعي؟

تستغل الهجمات متعددة الجولات وكيل الذكاء الاصطناعي بتوزيع هدف محظور على سلسلة من الطلبات التي قد تبدو مقبولة إذا فُحص كل واحد منها منفردا. يحتفظ الوكيل بسياق المحادثة ونتائج الأدوات والملفات والقرارات السابقة، ويستغل المهاجم هذا الاستمرار حتى تهيئ كل خطوة ما بعدها من دون إعلان الخطة كاملة في رسالة واحدة.

لماذا يفشل فحص كل رسالة منفردة؟

يسأل المرشح أحادي الجولة: «هل هذا الطلب ضار؟». أما الحماية التي تفهم الحالة فعليها أن تسأل أيضا: «ماذا فعلت المحادثة حتى الآن، وأي نتيجة ستقربها الخطوة التالية؟». السؤالان مختلفان.

قد يكون جمع معلومة عامة وتحويل بيانات وحفظ ملف أعمالا مشروعة كل على حدة. لكن جمعها قد يخدم غاية محظورة بحسب الهدف والبيانات وما ستفعله الأداة التالية. تكمن الخطورة في سير العمل، لا في جملة واحدة بالضرورة.

تزداد المشكلة مع وكيل الذكاء الاصطناعي. قد يبقى خطأ روبوت المحادثة نصا على الشاشة، بينما يستطيع الوكيل حفظ الحالة والتأثير في نظام خارجي، فيستخدم فشل الجولة العاشرة صلاحيات وملفات جُمعت خلال الجولات السابقة.

كيف يتطور التلاعب؟

1. تأسيس سياق سليم ظاهريا. يعرض المستخدم وظيفة أو تعليما أو تصحيحا تقنيا أو إجراء إداريا مقنعا.
2. طلب عنصر منفرد. يقدم الوكيل معلومة أو إجراء له استخدامات مشروعة كثيرة.
3. حفظ النتيجة. تدخل المخرجات إلى الذاكرة أو ملف أو قاعدة بيانات أو جلسة متصفح أو أداة أخرى.
4. إضافة عنصر جديد. يعتمد الطلب التالي على الحالة السابقة من دون كشف الغاية الكاملة.
5. اختبار الحدود. يكشف الرفض الكلمة أو الأداة أو الإجراء الذي فعّل الحماية.
6. تغيير الطريق. تتبدل الصياغة أو اللغة أو التنسيق أو الأداة مع بقاء الغاية نفسها.
7. تنفيذ الخطوة المؤثرة. تجعل الحركة الأخيرة الأجزاء السابقة قابلة للاستخدام.

لا يتطلب ذلك أن «ينسى» النموذج قواعده. قد يصنف كل خطوة محلية تصنيفا خاطئا لأن منطق السلامة لا يمثل الغاية المتراكمة.

التلاعب المتتابع ليس حقن التعليمات

قد تتجمع هذه المخاطر. توجه المحادثة الوكيل إلى مستند يحوي تعليما مزروعا، فيستدعي أداة ذات صلاحية ويخزن نتيجة مضللة في الذاكرة. لذلك تتبع الحماية البيانات والتعليمات والصلاحيات والنية معا.

لماذا تزيد الأدوات أثر الفشل؟

تحول الأدوات اللغة إلى نتائج. قد يعرض التصفح الوكيل إلى تعليمات غير موثوقة، وينفذ الكود تحويلا أو فعلا على البيانات، ويكشف الوصول إلى الملفات معلومات دائمة أو يغيرها، وتؤثر الرسائل والمدفوعات في أشخاص أو أصول.

السؤال الصحيح ليس هل الأداة قوية عموما، بل هل تحتاج المهمة الحالية إلى القدرة المطلوبة، على الهدف المحدد، في هذه اللحظة. تحد الصلاحية الدنيا من الضرر: القراءة لا تعني الكتابة، وإعداد المسودة لا يعني الإرسال، والوصول إلى ملف أو مستلم لا يعني الوصول إلى الجميع.

تستطيع بيئة عزل وكيل الذكاء الاصطناعي تقييد الملفات والشبكات والعمليات وبيانات الدخول، لكن العزل لا يقرر وحده هل الفعل المسموح مناسب. يجمع النظام الآمن الاحتواء مع فحص السياسة وتفويض المستخدم.

ما الذي ينبغي للحماية الاحتفاظ به؟

• الهدف المعلن: ما قال المستخدم إنه يريد إنجازه.
• سير العمل المستنتج: النتيجة الأوسع التي توحي بها السلسلة، مع التعبير عن عدم اليقين لا إصدار اتهام دائم.
• الكيانات الحساسة: الأشخاص والحسابات والأنظمة والاعتمادات والمواقع والبيانات المحمية.
• الأفعال المكتملة: الملفات المكتوبة والخدمات المستدعاة والمعلومات المسترجعة والصلاحيات المستخدمة.
• الرفض واختبار الحدود: محاولات الوصول إلى النتيجة المحظورة نفسها بصيغ مختلفة.
• الأثر المتبقي: ما ستجعله الأداة التالية ممكنا عند جمعه بالحالة الموجودة.

تخلق الذاكرة مخاطر للخصوصية والإنذارات الكاذبة أيضا. ينبغي الاحتفاظ بأقل حالة لازمة للسلامة وحمايتها وتحديد مدة لها والسماح للمستخدم السليم بتصحيح فهم خاطئ.

كيف تُحمى العملية كاملة؟

ينبغي أن يعمل ضابط الأمان في عدة طبقات: جواب النموذج والخطة واختيار الأداة وحدود الصلاحية ومراقبة ما بعد التنفيذ.

لماذا يحتاج التأكيد إلى سياق؟

لا يكفي سؤال «هل تسمح بهذا الإجراء؟» إذا لم ير المستخدم ما تراكم. يوضح التأكيد الجيد الهدف والبيانات المتأثرة والنتيجة الخارجية وهل يمكن عكسها وعلاقتها بالخطوات السابقة. ويظهر قرب الفعل المؤثر، لا في البداية كموافقة عامة على سير غير معروف.

كما يحافظ الوكيل على الفرق بين الإعداد والتنفيذ. يستطيع صياغة رسالة من دون إرسالها، أو عرض أمر مقترح من دون تشغيله، أو تجهيز معاملة من دون تقديمها. تمنح هذه النقاط الإنسان فرصة حقيقية لفحص التركيب النهائي.

كيف تُختبر السلامة متعددة الجولات؟

تحتاج التقييمات إلى محادثات متكيفة، لا قوائم ثابتة من الأسئلة فقط. يستطيع الاختبار تغيير الشخصية واللغة والترتيب والأدوات المتاحة والاستجابة للرفض. ويجب أن يشمل أعمالا سليمة تشبه الأعمال الضارة، لأن منع كل شيء يصنع وكيلا غير مفيد يبدو آمنا على الورق.

تشمل المقاييس المفيدة اكتمال المهمة المحظورة، وتوقيت الرفض، والتقدم الجزئي الضار، وإتمام الأعمال السليمة، والمقاطعة غير اللازمة، وتصعيد الصلاحيات، وقدرة النظام على التعافي من سياق مضلل. وتظل المراجعة البشرية مهمة لأن المقيم الآلي قد يسيء فهم حالة الأداة أو يعد سلسلة ناقصة نجاحا.

ماذا أضاف بحث STING؟

غطت نيو تقنية إطار STING الذي طوره باحثو EPFL لتقسيم أهداف معيارية ضارة إلى مراحل محادثة متكيفة. عبر 176 حالة مشتقة من 44 سيناريو، رفعت الطريقة المتعددة الجولات إتمام المهام المحظورة مقارنة بالطلب المباشر: طلبات تبدو بريئة قد تقود وكيلا إلى تنفيذ هدف ضار.

تكشف النتيجة ثغرة في تقييم الرسالة الواحدة، لكنها لا تحدد معدل الهجمات الواقعية ولا تثبت فشل كل وكيل منشور بالطريقة نفسها. استخدمت الدراسة أدوات محكومة ومقيمين آليين، بينما قد تضيف المنتجات صلاحيات ومراقبة وضوابط مرتبطة بالتطبيق.

الصورة التي تستحق التذكر

يخفي الهجوم متعدد الجولات وحدة التحليل الخطرة. تبدو الرسالة سليمة، بينما يصبح سير العمل ضارا. لذلك تتطلب حماية الوكيل تتبع الهدف المتغير والحالة المتراكمة وأثر الأدوات وحدود الصلاحية عبر التفاعل كله، مع الحفاظ على قدرة المستخدمين على إنجاز أعمال مشروعة متعددة الخطوات.