كيف يقلل اختيار البيانات الذكي تكلفة تخصيص النماذج اللغوية

يكيّف تخصيص النموذج نظاما لغويا مدربا مسبقا مع مهمة أو مجال محدد، لكن مجموعات بيانات التعليمات الكبيرة غالبا ما تضم أمثلة كثيرة تعلم سلوكيات متشابهة. وقد تستهلك معالجة جميع هذه الأمثلة وقت وحدات المعالجة الرسومية من دون فائدة متناسبة. تحاول أساليب اختيار البيانات تحديد مجموعة أصغر وممثلة. وتقدر الأساليب القائمة على التدرجات كيف سيغير كل مثال النموذج، ثم تجمع الأمثلة ذات آثار التعلم المتشابهة. ويختار أخذ العينات المتوازن من هذه المجموعات حتى لا تطغى السلوكيات الشائعة على الأنماط النادرة والمفيدة. وفي التدريب متعدد الوحدات، يهم التوزيع أيضا: فإذا تلقى كل معالج أمثلة شبه متطابقة، ترتفع سرعة المعالجة من دون زيادة تنوع التعلم. توزع الأساليب الواعية بالمعالجات مجموعات مختلفة على الوحدات ثم تجمع تحديثاتها. ويمكن لترجيح التدرجات الناتجة تصحيح اختلاف معدلات أخذ العينات بين المجموعات. وقد تكون النتيجة زمنا أقل للتدريب واستهلاكا أدنى للطاقة، لكن الوفر يعتمد على النموذج والبيانات والعتاد وكلفة المعالجة المسبقة، لذلك يلزم تكرار النتائج قبل افتراض تحقق النسبة نفسها في الإنتاج.