شرح تقني
كيف يقيّد متحكم أمان إجراءات وكيل الذكاء الاصطناعي؟
يستطيع متحكم أمان مستقل السماح بإجراءات وكيل الذكاء الاصطناعي أو منعها أو إحالتها إلى المستخدم، مع إبقاء بيانات الاعتماد والاتصال بالشبكة خارج سيطرة الوكيل. يقلل التصميم المخاطر لكنه يحتاج إلى اختبار مستقل وموافقات واضحة وسجل تدقيق مفيد.
تزداد فائدة وكيل الذكاء الاصطناعي عندما يستطيع قراءة البريد وتصفح المواقع واستخدام الخدمات المتصلة. لكن الوصول نفسه يحول التعليمات الخاطئة أو الصفحة العدائية إلى خطر عملي. ويمكن تقليل هذا الخطر بفصل النظام الذي يخطط للعمل عن النظام الذي يمنح الإذن بتنفيذه.
مهمتان منفصلتان
يفسر الوكيل العامل هدف المستخدم ويقسمه إلى خطوات ويقترح استدعاء الأدوات. ثم يفحص متحكم أمان مستقل كل إجراء مقترح. وعندما يعمل المتحكم خارج بيئة تنفيذ الوكيل، لا يستطيع الوكيل تعطيله أو إعادة كتابة قواعده بسهولة.
يقارن المتحكم الإجراء بأذونات المستخدم وحساسية البيانات والسياق المتراكم خلال المهمة. وقد يسمح بقراءة صفحة عامة تلقائيا، لكنه يطلب موافقة صريحة قبل إرسال رسالة أو تحويل أموال أو مشاركة ملف خاص. ويمكنه منع وجهة محظورة بالكامل.
لماذا تهم حركة الشبكة؟
يتعامل الوكلاء كثيرا مع محتوى غير موثوق. وقد تتضمن صفحة ويب تعليمات مخفية تطلب كشف بيانات أو تغيير الهدف. إذا مر كل اتصال صادر عبر بوابة مستقلة، تستطيع البوابة تقييد الوجهات وفحص ما إذا كان الطلب المقترح يخالف السياسة. يسمى ذلك التحكم في حركة الشبكة الصادرة.
ينبغي كذلك إبقاء بيانات الاعتماد بعيدا عن الوكيل العامل. تستطيع خدمة ذات صلاحيات خاصة إضافة الرمز المطلوب بعد الموافقة على الإجراء. وبذلك يستخدم الوكيل الخدمة من دون الحصول على السر القابل لإعادة الاستخدام.
ما الذي لا يضمنه هذا التصميم؟
لا يصبح المتحكم المستقل صحيحا تلقائيا. فقد يفوّت تسلسلا ضارا مخفيا بذكاء، أو يمنع عملا مشروعا، أو يفتقر إلى سياق كاف لفهم نية المستخدم. وقد تحتوي نماذجه وقواعده على ثغرات أيضا. لذلك يجب قياس فعاليته بالاختبارات الهجومية وتقارير الحوادث الحقيقية ومعدلات الخطأ الواضحة.
تكون الموافقة البشرية أقوى عندما يوضح الطلب الإجراء والوجهة والبيانات المعنية بدقة. أما التأكيدات الغامضة فقد تدرب المستخدم على الموافقة من دون قراءة. وينبغي لسجل التدقيق أن يحفظ ما اقترحه الوكيل وقرار المتحكم وما حدث فعليا، حتى يمكن التحقيق في الأخطاء والتراجع عنها.
الاختبار العملي
ينجح التصميم عندما يحصر الضرر من دون جعل المهام العادية غير قابلة للاستخدام. يجب أن تفحص الاختبارات المستقلة حقن التعليمات وتسلسل الإجراءات التي تبدو آمنة منفردة وتسرب بيانات الاعتماد والوجهات غير المتوقعة والتعافي من الفشل الجزئي. يوفر الفصل حدودا أقوى، لكن الثقة تعتمد على سلوك هذه الحدود خارج المختبر.
ظهر أول مرة في
وكيل ميتا الشخصي يدخل البريد والدفع تحت رقابة نظام أمان منفصل
