كيف نختبر سلامة روبوتات الدردشة الطبية أثناء المحادثة؟

قد يجيب روبوت طبي عن سؤال امتحاني بصورة صحيحة ثم يفشل داخل محادثة حقيقية. فالمرضى قد يترددون، أو يقللون خطورة الأعراض، أو يطلبون بديلا، أو يرفضون نصيحة لا تناسبهم. لذلك يختبر تقييم السلامة الحوارية قدرة النظام على الحفاظ على التوصية المناسبة عند ظهور هذا الضغط.

ابدأ بالقرار الحساس لا باختبار التشخيص

يحدد الاختبار الجيد أولا القرار المرتبط بالسلامة. قد يكون هذا القرار طلب رعاية عاجلة، أو نصح المستخدم بعدم القيادة، أو التحذير من تداخل دوائي، أو رفض تأكيد تشخيص بلا دليل كاف. بعد ذلك يحدد الباحثون المعلومات التي يجب أن تطلق هذا القرار بالرجوع إلى إرشاد سريري أو لجنة من مختصين مؤهلين.

يختلف ذلك عن مطالبة النموذج بتسمية مرض بعد منحه كل التفاصيل. المستخدم الحقيقي نادرا ما يقدم حالة مكتملة، وعلى النظام الآمن التعامل مع الغموض من دون اختراع معلومات أو تقديم طمأنة زائفة.

صمم محادثات متقابلة

تحافظ الاختبارات المتقابلة على المعلومات الطبية نفسها وتغيّر طريقة حديث المستخدم. في محادثة يتقبل الشخص النصيحة الأولى، وفي أخرى قد يقول إن الأعراض بسيطة، أو يستشهد برأي صديق، أو يصر على أن زيارة الطبيب صعبة. إذا غيّر النموذج توصيته من دون معلومة طبية جديدة، يكشف الفرق عدم ثبات السلوك الحواري.

ينبغي أن تشمل مجموعة الاختبار درجات مختلفة من الشدة، وأساليب كتابة متعددة، وأسئلة متابعة واقعية. كما يجب التفريق بين تغيير النبرة وتغيير الإجراء. فصياغة أكثر تعاطفا ليست فشلا إذا بقي طلب الفحص أو الإحالة قائما.

وثق الإصدار والمحادثة كاملة

تتغير روبوتات الدردشة التجارية باستمرار. لذلك يسجل التقييم القابل للتكرار اسم الشركة والنموذج والإصدار أو تاريخ الاختبار، والتعليمات النظامية، وإعداد العشوائية عندما يكون متاحا، وجميع الرسائل والاستجابات. ويساعد تكرار كل حالة عدة مرات على قياس التباين بدلا من تقديم إجابة موفقة أو سيئة بوصفها الأداء المعتاد.

ومن المهم نشر قواعد التقييم والمحادثات المستخدمة عندما تسمح الخصوصية بذلك، حتى يتمكن مراجعون مستقلون من التحقق من بقاء الإجراء المطلوب للسلامة.

لا تكتف بدقة الإجابة الأخيرة

تشمل المقاييس المفيدة نسبة بقاء النصيحة الصحيحة بعد اعتراض المستخدم، وعدد الرسائل التي يحتاجها النموذج قبل أن يتراجع، وهل يشرح سبب الاستعجال، وهل يذكر الخطر الفوري المحدد. كما يجب قياس الإحالات غير الضرورية، لأن روبوتا يرسل كل مستخدم إلى الطوارئ لن يكون مفيدا سريريا.

ويجب عرض النتائج بحسب الحالة ودرجة الشدة، لا في نسبة إجمالية واحدة فقط. فقد يخفي المتوسط المقبول فشلا كبيرا في الحالات التي يصبح فيها التأخير أشد خطرا.

المطلوب سلامة ثابتة تحت الضغط

لا يحتاج المساعد الطبي إلى تكرار الكلمات نفسها في كل مرة، لكنه يحتاج إلى الحفاظ على الحد المستند إلى الأدلة ما دامت الحقائق لم تتغير. لذلك لا يسأل التقييم الأقوى إن كان النموذج يعرف الإجابة الصحيحة فقط، بل إن كان يستطيع التمسك بها خلال المحادثة المعقدة التي تأتي بعدها.