شرح تقني
كيف تغيّر نماذج الذكاء الاصطناعي المحلية مخاطر الأمن السيبراني؟
قد يبقي الذكاء الاصطناعي المحلي البيانات الحساسة داخل بيئة خاضعة للسيطرة، لكنه ينقل التحديث والتخزين والهوية والمراقبة ومصدر النموذج وضبط الإساءة إلى المشغل. وغالباً تفوق أهمية الاسترجاع وصلاحيات الأدوات مكان النموذج.
الجواب المختصر: يمكن لتشغيل نموذج ذكاء اصطناعي محلياً إبقاء الأسئلة والوثائق والمخرجات داخل جهاز أو شبكة خاضعة للسيطرة. يقلل ذلك التعرض لمزود خارجي، لكنه ينقل مسؤولية الحماية إلى المشغل وقد يزيل المراقبة والحدود وكشف الإساءة الموجودة في السحابة. يتحدد الخطر بالبيانات والأدوات والصلاحيات والمستخدمين والشبكة، لا بمكان التشغيل وحده.
ماذا يعني «محلي»؟
قد يعمل نموذج الذكاء الاصطناعي المحلي على حاسوب أو هاتف أو محطة عمل أو خادم خاص أو مركز بيانات للمؤسسة. ولا تعني كلمة محلي أنه غير متصل. قد ينزل التطبيق النماذج أو يتصل بالتحديثات أو يبحث في الإنترنت أو يستخدم أدوات أو يرسل قياسات تشغيلية.
يجب فصل أربعة حدود:
- مكان تنفيذ الاستدلال
- مكان تخزين الوثائق والأسئلة والسجلات
- الشبكات والخدمات الخارجية التي يصل إليها التطبيق
- الأدوات والأسرار التي يستطيع النموذج استخدامها
فوائد أمنية
| الفائدة | سببها | الشرط |
|---|---|---|
| بقاء البيانات محلياً | لا تغادر المدخلات الحساسة الجهاز أو الشبكة | ألا يرسل البرنامج قياسات أو بحثاً أو تقارير أعطال خارجياً |
| الاستقلال التشغيلي | استمرار العمل بلا API خارجي أو إنترنت | توفر النموذج والتحديثات والاعتماديات مسبقاً |
| ضوابط مخصصة | اختيار الاحتفاظ والترشيح والوصول والإصدارات | تنفيذ المؤسسة للضوابط وتدقيقها |
| تقليل الأطراف الخارجية | عدد أقل من الجهات يعالج المحتوى | بقاء الحاجة إلى الثقة في ملفات النموذج والإضافات وسلسلة التوريد |
مخاطر تنتقل إلى المشغل
قد يدير مزود السحابة بنية محدثة وعزل العملاء والتشفير ومراقبة الإساءة وحدود الأسرار. أما محلياً فيتحمل المستخدم نظام التشغيل وتشفير القرص والهوية والسجلات والنسخ الاحتياطي والتحديثات ومصدر النموذج والاستجابة للحوادث.
قد تبقى الأسئلة والفهارس في القرص والذاكرة التبادلية والتخزين المؤقت وسجل الأوامر وقواعد المتجهات والنسخ الاحتياطية. «لم تُرفع» لا تعني «لم تُحفظ».
لماذا قد يفضله المهاجم؟
يمكن للمشغل الخبيث تشغيل نموذج بلا حدود معدل أو تعليق حساب أو مراقبة مركزية أو ضوابط محتوى، وتعديله أو ضبطه. كما يبقي الوثائق المسروقة بعيداً عن خدمة سحابية قد تحتفظ بالحركة أو تفحصها.
لكن ذلك لا يجعل النموذج مستقلاً. يحصل إنسان أو برنامج آخر على البيانات، ويحدد الهدف، ويراجع المخرجات، وينفذ الأفعال. قد يسرع المحلي التحليل والترجمة وكتابة الشيفرة والتصيد وفرز الوثائق مع بقاء الإنسان قائداً.
البحث في الوثائق يغير الخطر
يفهرس التوليد المعزز بالاسترجاع (RAG) الوثائق ويستحضر مقاطع للنموذج. يفيد الموظف في سؤال المعرفة الخاصة بلا تدريب جديد، وقد يساعد المهاجم على البحث في بريد مسروق أو أسرار أو شيفرة أو تقارير.
لا تقتصر الأصول الحساسة على النموذج. تشمل الملفات والنص المستخرج والتضمينات والفهرس والبيانات الوصفية والأسئلة والمخرجات ومرشحات الصلاحية. وقد يحفظ الفهرس معنى حساساً بعد نقل الأصل.
الأدوات تحول النص إلى فعل
يولد النموذج المنفرد نصاً. أما الوكيل المتصل بصدفة أو متصفح أو بريد أو سحابة أو مستودع أو ماسح فيستطيع الفعل. وغالباً تأتي القفزة الكبرى في الخطر من الأداة لا من مكان النموذج.
- يتلقى النموذج هدفاً وسياقاً.
- يقترح استدعاء أداة.
- ينفذ التطبيق الاستدعاء بأسراره المتاحة.
- تعود النتيجة إلى النموذج للخطوة التالية.
يجب أن تفرض المنظومة المضيفة أقل صلاحية والموافقة والعزل والتحقق والسجلات غير القابلة للتلاعب. تعليمات النموذج ليست حداً أمنياً.
مسارات هجوم رئيسية
| المسار | مثال | الحماية |
|---|---|---|
| نموذج أو حزمة خبيثة | ملف منزل ينفذ شيفرة عبر تحميل غير آمن | توقيع وتجزئة وصيغ آمنة وعزل ومصدر موثوق |
| حقن أوامر في وثيقة | ملف مسترجع يطلب كشف سر أو استخدام أداة | معاملة النص كبيانات غير موثوقة وفرض السياسة خارج النموذج |
| وكيل واسع الصلاحية | يرث أسرار الصدفة أو السحابة | هويات محدودة وأسرار قصيرة العمر وقوائم سماح وموافقة |
| تسرب محلي | سجلات أو فهارس يقرأها مستخدم آخر | تشفير وصلاحيات واحتفاظ محدود وحذف آمن |
| واجهة غير محدثة | خادم استدلال مكشوف للشبكة | مصادقة وتحديث وتقييد الربط وتقسيم ومراقبة |
| سرقة النموذج | نسخ أوزان أو ضبط خاص | صلاحيات ملفات وتشفير ومفاتيح عتادية وضبط الخروج |
ما الذي يراه المدافع؟
تقلل النماذج المحلية رؤية المزود، لا كل الرؤية. يمكن مراقبة العمليات واستخدام GPU وتنزيل النماذج والوصول الكثيف للملفات وإنشاء قواعد المتجهات والاتصالات والمصادقة واستدعاءات الأدوات وتشغيل الشيفرة وتجهيز البيانات.
تدوم المراقبة السلوكية أكثر من البحث عن اسم نموذج. يمكن تغيير الاسم، لكن قراءة آلاف الملفات وفتح قناة أوامر غير معتادة يتركان أثراً.
دليل من بنية لمجموعة هجومية
وجد باحثون برامج نماذج لغوية وبحثاً محلياً في الوثائق وأدوات تطوير على بنية مرتبطة بمجموعة Kimsuky المرتبطة بكوريا الشمالية. قد تساعد البيئة على تحليل مواد مسروقة وتحسين التصيد من دون إرسال البيانات إلى سحابة عامة. اقرأ: قراصنة مرتبطون بكوريا الشمالية يبنون بيئة ذكاء اصطناعي خاصة، لكن أتمتة الهجمات لم تثبت بعد.
لا تثبت الأدوات أن المجموعة نفذت هجمات سيبرانية مستقلة بالكامل. تكشف البنية القدرة والنية أسهل مما تكشف مقدار الأتمتة في عملية سابقة.
نشر محلي أكثر أماناً
- تحديد هل المنظومة غير متصلة أم مقيدة الشبكة أم متصلة بالإنترنت
- التحقق من مصدر النماذج والحزم قبل التحميل
- تشغيل الاستدلال وتحليل الوثائق بهوية غير إدارية
- فصل مجموعات البيانات وفرض الصلاحية قبل وصول النص إلى النموذج
- منح الأدوات أسراراً محدودة وقصيرة العمر
- طلب موافقة للرسائل الخارجية وتشغيل الشيفرة والحذف وتغيير الصلاحية
- تشفير التخزين وتحديد الاحتفاظ للأسئلة والفهارس والمخرجات والسجلات
- مراقبة المضيف والشبكة والأدوات والتدرب على إلغاء الصلاحيات
- تحديث النظام والتعريفات وخادم الاستدلال والواجهة والاعتماديات
السحابة والمحلي ليسا ترتيباً بسيطاً
تضيف السحابة مزوداً ومسار شبكة، لكنها قد تقدم عمليات أمن ناضجة وضوابط مركزية. يمنح المحلي سيادة وعزلاً لكنه يعتمد على انضباط المشغل. وقد يبقي التصميم الهجين الاسترجاع الحساس محلياً ويستخدم نموذجاً مداراً للأعمال غير الحساسة، بحدود بيانات واضحة.
الصورة الذهنية
ينقل الانتقال من السحابة إلى المحلي مفاتيح النظام ومسؤولية مراقبته. قد يغلق مسار بيانات خارجي، لكنه يفتح مسؤوليات على الجهاز. ثم يحول الاسترجاع والأدوات مولد النص الخاص إلى تطبيق ذي صلاحيات يجب هندسته كأي برنامج حساس.
ظهر أول مرة في
قراصنة مرتبطون بكوريا الشمالية يبنون بيئة ذكاء اصطناعي خاصة، لكن أتمتة الهجمات لم تُثبت بعد