كيف تفك زرعة دماغية الكلام والإيماءات معا؟

لا تقرأ واجهات الدماغ والحاسوب الأفكار بمعناها العام، بل تتعلم علاقات إحصائية بين النشاط العصبي المسجل ومجموعة محددة من الأفعال التي يحاول المستخدم أداءها. ويضيف فك الكلام والإيماءات معا تحديا آخر، لأن الإشارات قد تظهر في الوقت نفسه وتتداخل جزئيا داخل القشرة الحركية.

التقاط الإشارات

تضع تقنية تخطيط كهربائية القشرة شبكة من الأقطاب على سطح الدماغ تحت الجمجمة. تقيس هذه الأقطاب تغيرات الجهد الناتجة من مجموعات الخلايا العصبية. وعندما يحاول الشخص الكلام أو التلويح أو الإيماء بالرأس أو هز الكتفين، يتغير النشاط في مناطق من القشرة الحسية الحركية حتى لو منع الشلل ظهور الحركة.

يكون التسجيل الخام مشوشا وغني التفاصيل. ترشح البرمجيات الإشارة أولا وتستخرج خصائص منها، مثل تغير نطاقات ترددية معينة عند أقطاب محددة. ثم تدخل هذه الخصائص إلى مفكك عصبي. يتدرب النموذج على أمثلة معنونة، إذ يحاول المشارك أداء عبارة أو إيماءة معروفة بينما يسجل النظام النمط الموافق لها.

لماذا لا يكفي تشغيل نموذجين منفصلين؟

قد يبدو الحل المباشر هو تدريب نموذج للكلام وآخر للإيماءات ثم تشغيلهما معا. غير أن الأنماط العصبية ليست مستقلة تماما. فمحاولة الإيماءة قد تغير النشاط قرب الأقطاب المرتبطة بالكلام، كما قد تؤثر محاولة النطق في أنماط الحركة. لذلك قد يفشل النموذج المدرب على أفعال منفردة في التقاط أمر حقيقي أو ينفذ أمرا لم يقصده المستخدم.

تعالج الأنظمة متعددة المؤثرات المشكلة بإدخال أفعال مجمعة في بيانات التدريب. يتعلم النموذج شكل إشارة الكلام أثناء الإيماءة، وشكل الإيماءة أثناء الكلام. وقد يستخدم حدود ثقة أو كاشفا مستقلا للحالة كي يقرر ما إذا كان الفعل موجودا أصلا. يحد ذلك من الإشارات المفقودة والتنشيطات الخاطئة.

تحويل التصنيف إلى تواصل

يمكن لكل ناتج مفكوك التحكم في جزء مختلف من الواجهة. فقد يختار نموذج الكلام عبارة أو ينتج نصا وصوتا اصطناعيا، بينما يحرك نموذج الحركة وجه شخصية رقمية أو رأسها أو ذراعها أو جذعها. وبفضل تزامن القناتين، تستطيع الشخصية تقديم الكلمات مع إيماءة أو تلويح أو حركة كتفين، فتستعيد شيئا من التوقيت والتأكيد اللذين لا ينقلهما النص وحده.

ما الذي لا تكشفه نسبة الدقة؟

تعتمد الدقة المعلنة على عدد الخيارات، وعلى ما إذا كان المشارك يقلد عبارة مطلوبة أم يتحدث بحرية، وعلى قدرة النظام على الامتناع عن التخمين. يختلف تصنيف عشرة خيارات في المختبر كثيرا عن الحوار المفتوح. ويجب أن يعمل الجهاز المفيد لساعات طويلة رغم تغير وضع الجسم والتعب وفترات الصمت الطبيعية ومن دون معايرة متكررة.

الخطوات التالية

تحتاج التقنية إلى دراسات أكبر ومفردات أوسع وإيماءات أكثر تنوعا. وقد تقلل الأجهزة اللاسلكية المزروعة بالكامل الحاجة إلى الأسلاك وتدعم الاستخدام المنزلي، لكنها مطالبة بإثبات سلامة الجراحة واستقرار الإشارة على المدى الطويل وموثوقية الطاقة وأمن نقل البيانات. والهدف ليس إنشاء نسخة رقمية مثالية من لغة الجسد، بل منح المستخدم وسيلة يختار بها إشاراته التعبيرية بدقة وسرعة، مع السيطرة على اللحظات التي ينبغي فيها للنظام أن يلتزم الصمت.