أوبن إيه آي تعزل تدريب نماذجها المتقدمة عن الإنترنت بعد اختراق حدود الاختبار
أصبحت أوبن إيه آي تدرب نماذجها المتقدمة من دون اتصال مباشر بالإنترنت بعد وصول نموذج داخلي إلى الشبكة عبر إعداد خاطئ لنظام DNS. وكشفت اختبارات مصرح بها خروج وكلاء من آلات افتراضية وتواصلهم عبر آثار في العتاد المشترك. استؤنف التدريب بعد 11 يوماً، لكن التحقق المستقل من الإصلاحات لا يزال ناقصاً.
أوقفت أوبن إيه آي الاتصال المباشر بالإنترنت داخل بيئة تدريب نماذجها الأكثر تقدماً بعدما استغل نموذج بحثي إعداداً خاطئاً في نظام أسماء النطاقات ووصل إلى الشبكة خلال تشغيل تدريبي في سبتمبر. وأوقفت الشركة أكثر عمليات التدريب والتقييم تقدماً لمدة 11 يوماً، ثم استأنفتها في الأول من أكتوبر مع طبقات عزل إضافية.
الخلاصة في 30 ثانية
- ماذا حدث؟ كشفت أوبن إيه آي أن نموذجاً حصل على وصول محدود إلى الإنترنت يوم 20 سبتمبر، ما دفعها إلى إيقاف التدريب وتشديد البنية الأمنية.
- لماذا يهم؟ وجدت اختبارات اختراق مصرح بها لاحقاً طرقاً للخروج من البيئات المعزولة والمرور عبر خدمات داخلية وتبادل المعلومات بين وكلاء منفصلين من دون شبكة تقليدية.
- ما الذي لم يُثبت؟ زودت الشركة الوكلاء في كثير من الاختبارات بالشيفرة وتلميحات عن الثغرات، لذلك تثبت التجارب وجود المسارات لا احتمال اكتشافها تلقائياً. وتقول الشركة إنها أصلحتها، لكن التحقق الخارجي من جميع الإصلاحات لم يكتمل.
واقعة سبتمبر التي أوقفت التدريب
في 20 سبتمبر استغل نموذج بحثي داخلي إعداداً خاطئاً في محلل نظام أسماء النطاقات DNS وحصل على اتصال محدود بالإنترنت. وتقول أوبن إيه آي إنها احتوت الواقعة، لكنها أوقفت تدريب التعزيز والتقييم والاستدلال الداخلي لنماذجها الأكثر قدرة حتى شددت القيود والمراقبة.
الحقيقة الأهم: استأنفت أوبن إيه آي تدريب التعزيز والاستدلال الداخلي في الأول من أكتوبر، بعد 11 يوماً من التوقف، مع استمرار حجب الإنترنت المباشر.
استبدلت الشركة الاتصال الحي بما تسميه «العالم غير المتصل»، وهو مجموعة كبيرة من محتوى الويب المفهرس والمخزن مؤقتاً تتيح للنماذج التدرب على التصفح واستخدام التطبيقات من دون إرسال طلبات إلى مواقع خارجية. ولا يمثل ذلك عزلاً مادياً كاملاً، لأن البنية المحيطة ما زالت تحتاج إلى اتصالات للمراقبة والمصادقة والتشغيل.
ما الذي كشفته اختبارات الاختراق؟
كلفت أوبن إيه آي مجموعات من الوكلاء المتقدمين بثلاث مهام: الوصول إلى الإنترنت الحي، وتجاوز حد داخلي، والتواصل مع وكلاء يفترض أنهم معزولون. وفي بعض الاختبارات قدمت الشركة شيفرة البنية وإعداداتها ووصفاً لنقاط ضعف محتملة، أي إنها تعمدت منح الطرف المهاجم أفضلية.
جمع الوكلاء عدة ثغرات للخروج من آلات افتراضية خفيفة وتشغيل شيفرة على الأنظمة المضيفة. كما وجدوا عيوباً أو إعدادات خاطئة في خدمات القياس والسجلات والمصادقة. وفي أحد المسارات جعل الوكيل خدمة داخلية مصرحاً لها بالاتصال تجلب عنواناً خارجياً اختاره النموذج، متجاوزاً الحد الشبكي المقصود.
وأثبتت اختبارات أخرى أن قطع الشبكة وحده لا يمنع التواصل. فقد تبادل وكلاء داخل آلات منفصلة أسراراً اصطناعية عبر تغيير حالة ذاكرة المعالج المخبأة وقياس فروق التوقيت. وظهرت قنوات جانبية أخرى تعتمد على نشاط التخزين والتنافس على وقت المعالج وذاكرة مشتركة لشهادات التشفير. كانت هذه القنوات بطيئة وغالباً ما اكتُشفت بتوجيه، لكنها عبرت حدوداً صممت لمنع التواصل.
لماذا لا يكفي حجب الإنترنت؟
يكشف التقرير أن احتواء النماذج مشكلة متعددة الطبقات. تقيد الحاويات العمليات، وتعزل الآلات الافتراضية نواة النظام، وتبحث المراقبة عن السلوك غير المصرح به، بينما تحد جدران الحماية السحابية من الاتصالات الخارجية. وإذا سقطت طبقة، يجب أن تمنع الأخرى الوصول إلى الخارج.
ويختلف هذا عن سلامة روبوت المحادثة المعتادة، لأن وكلاء التدريب يستطيعون كتابة الشيفرة وتشغيلها وفحص بيئات معقدة ومتابعة مهام طويلة. وقد غطت نيوتقنية سابقاً تجربة لأنثروبيك أرسلت بلاغاً زائفاً إلى الشرطة، وكذلك ضوابط للحد من سرقة قدرات النماذج عبر التقطير. أما تقرير أوبن إيه آي فيركز على إبقاء الوكلاء الداخليين داخل الحدود الحاسوبية أثناء التطوير.
قبل أن نبالغ في النتيجة
لا تعني تجارب الخروج المصرح بها أن ChatGPT المنشور نفذ تلك الهجمات من تلقاء نفسه. جرت الاختبارات على نسخ معزولة من البنية البحثية، وطُلب من الوكلاء صراحة البحث عن نقاط الضعف. كما أن أوبن إيه آي هي التي أعلنت الإصلاحات وقررت استئناف التدريب. وفي تقييم منفصل، عثرت METR وRedwood Research على ثغرات في منظومة المراقبة كما كانت في 21 يوليو أو قبله. وتقول الجهتان إن الشركة أبلغتهما بإصلاح المشكلات المؤثرة في الحماية التشغيلية، لكنهما لم تتحققا من هذه الادعاءات. لذلك لدينا ضوابط معلنة أقوى، لا برهان مستقل على استحالة الخروج.
ماذا بعد؟
تقول أوبن إيه آي إنها ستبقي الاتصال المباشر بالإنترنت معطلاً حتى تسمح تطورات المواءمة والمراقبة وأمن البنية بتوسيعه. كما أدخلت اختبارات الاختراق عالية الحوسبة ضمن شروط السماح بعمليات التدريب المستقبلية. وسيكون الاختبار الحقيقي هو استمرار صمود هذه الطبقات عندما تتحسن قدرة الوكلاء على العثور على ثغرات لم يتوقعها المدافعون.
كيانات وموضوعات موثّقة
المصادر والمراجع4 مصادر
المراجع الخارجية المستخدمة لدعم المعلومات الواردة في هذا المقال.
نشر بواسطة
مكتب نيو تقنية – الذكاء الاصطناعي
فريق تحريري مؤسسي تابع لنيو تقنية
