ذكاء اصطناعي يضاهي الأطباء أو يتفوقهم في حالات طوارئ حقيقية
في دراسة نُشرت بمجلة Science، طابق نموذج o1-preview من OpenAI أداء أطباء الطب الباطني أو تفوق عليهم في تشخيص 76 حالة طوارئ حقيقية وغير منقّحة، مع أكبر فجوة لصالحه عند الفرز الأولي حين تقل المعلومات المتاحة. لم يُختبر النموذج مقابل أطباء طوارئ متخصصين، وكانت هذه دراسة استعادية لا تجربة حية.
أراد باحثون في جامعة هارفارد ومركز بيث إسرائيل دياكونيس معرفة ما إذا كان بإمكان نموذج ذكاء اصطناعي "يفكر" التعامل مع أصعب مهمة يواجهها الطبيب: قراءة سجلات مرضى حقيقية وغير منقّحة، واستنتاج ما يعانون منه. في دراسة نُشرت في 30 أبريل بمجلة Science، طابق النموذج أداء الأطباء أو تفوق عليهم في كل مرحلة من حالات طوارئ حقيقية.
الخلاصة في 30 ثانية
- ماذا حدث؟ اختبر الباحثون نموذج o1-preview من OpenAI مقابل طبيبين مختصين في الطب الباطني، على 76 حالة طوارئ حقيقية وغير منقّحة من مستشفى في بوسطن، عند ثلاث نقاط: الفرز الأولي، والتقييم المبكر، ودخول المستشفى. حكم طبيبان آخران على النتائج من دون معرفة أي تشخيص جاء من إنسان وأيها من الذكاء الاصطناعي. طابق الذكاء الاصطناعي أداء الأطباء أو تفوق عليهم في كل مرحلة.
- لماذا يهم؟ هذا من أكبر الاختبارات لنموذج ذكاء اصطناعي على بيانات مستشفى حقيقية وفوضوية، لا حالات مدرسية منقّحة، وكانت الفجوة لصالح الذكاء الاصطناعي أكبر ما تكون حين تقل المعلومات المتاحة، وهي بالضبط اللحظة التي تُتخذ فيها قرارات الفرز المبكر.
- ما الذي لم يُثبت؟ قورن النموذج بأطباء باطنية، لا أطباء طوارئ متخصصين، وكانت هذه دراسة استعادية على سجلات موجودة مسبقاً، لا تجربة حية وجّه فيها الذكاء الاصطناعي رعاية مرضى فعليين.
الرقم الأهم
في جزء منفصل من الدراسة اعتمد على تقارير حالات منشورة، وصل نموذج o1-preview إلى تشخيص دقيق أو قريب جداً في 88.6% من الحالات، مقابل 72.9% لنموذج GPT-4 الأقدم.
ما الذي حدث
أجرى فريق من أطباء وعلماء حاسوب في جامعة هارفارد ومركز بيث إسرائيل دياكونيس ست تجارب منفصلة قارنت نموذج o1-preview من OpenAI، وهو نموذج "استدلالي" يعالج المشكلة خطوة بخطوة قبل الإجابة، بأطباء ونماذج ذكاء اصطناعي أقدم. اعتمد الاختبار الأساسي على 76 حالة طوارئ حقيقية، عُرضت كما وردت بالضبط في السجل الطبي الإلكتروني، من دون تنقيح، بكل ما يحمله سجل حقيقي من تفاصيل عشوائية.
عند ثلاث نقاط، الفرز الأولي والتقييم المبكر ودخول المستشفى، قورن تشخيص النموذج بتشخيص طبيبين مختصين في الطب الباطني عملا من الملاحظات نفسها. حكم طبيبان مختصان آخران على النتائج من دون معرفة أي تشخيص جاء من إنسان وأيها من الذكاء الاصطناعي. طابق النموذج أداء الأطباء أو تفوق عليهم في كل مرحلة، وكانت أكبر فجوة عند الفرز الأولي، وهي النقطة التي تقل فيها المعلومات المتاحة ولا يستطيع الأطباء فيها تحمل الخطأ.
لماذا يهم
اعتمدت معظم اختبارات الذكاء الاصطناعي الطبي السابقة على حالات مدرسية منقّحة أو اختبارات اختيار من متعدد. اعتمدت هذه الدراسة عمداً على سجلات مستشفى غير منقّحة بدلاً من ذلك، وأدى النموذج أداءً جيداً رغم ذلك. لكن للمقارنة حداً حقيقياً يستحق الذكر: كان الأطباء في الدراسة مختصين في الطب الباطني، لا أطباء طوارئ، وهم من يشغلون فعلياً مكاتب الفرز في أقسام الطوارئ. أشارت الطبيبة كريستن بانثاغاني، وهي طبيبة طوارئ لم تشارك في الدراسة، إلى أن هذا التباين يعني أن العناوين التي وصفت النتيجة بأنها فوز على "أطباء الطوارئ" تبالغ فيما اختُبر فعلياً.
قبل أن نبالغ في النتيجة
- كانت هذه دراسة استعادية قارنت نتائج على سجلات موجودة مسبقاً، لا تجربة حية وجّه فيها الذكاء الاصطناعي رعاية مرضى فعليين.
- كان الأطباء المستخدمون للمقارنة مختصين في الطب الباطني، لا أطباء طوارئ متخصصين.
- في تحديد التشخيصات النادرة الحرجة التي "لا يجوز تفويتها"، لم يكن النموذج أفضل بشكل ملحوظ من الأطباء، وهي بالضبط الفئة التي قد يكون فيها خطأ الذكاء الاصطناعي الأخطر.
- بالغت كل المجموعات في الدراسة، بما فيها الذكاء الاصطناعي، في تقدير احتمال الحالات النادرة بعد ظهور نتائج الفحوصات، وهو تحيّز معروف لم يفلت منه أحد.
ما الذي يحدث تالياً
يوضح معدّو الدراسة، ومنهم المؤلف المشارك آدم رودمان، أن هذا لا يعني أن الذكاء الاصطناعي جاهز لتشخيص المرضى بمفرده. قال رودمان إنه يشعر بقلق من الطريقة التي قد تُستخدم بها هذه النتائج، وأشار إلى عدم وجود إطار رسمي بعد يحدد من يتحمل المسؤولية إذا كان تشخيص الذكاء الاصطناعي خاطئاً. يدعو الباحثون إلى تجارب سريرية استباقية، تؤثر فيها اقتراحات الذكاء الاصطناعي فعلياً على رعاية مرضى حقيقيين تحت إشراف طبي، قبل أن ينتقل أي من هذا من نتيجة بحثية إلى ممارسة فعلية داخل المستشفيات. تنضم هذه الدراسة إلى موجة أوسع من أبحاث الذكاء الاصطناعي في المستشفيات، منها نموذج منفصل صُمم لتحذير الأطباء من إصابة الكلى قبل أن يصبح الضرر واضحاً.
خلاصة
الإشارة الأوضح في هذه الدراسة ليست أن الذكاء الاصطناعي يستطيع الفوز في مباراة تشخيصية، فقد أشارت أبحاث سابقة إلى ذلك أصلاً. الإشارة الأوضح أن النموذج صمد أمام بيانات مستشفى حقيقية وغير منقّحة، لا حالات مدرسية منظّفة، وقدّم أفضل أداء بالضبط حين تكون المعلومات المتاحة للأطباء في أدنى مستوياتها. أما إن كان ذلك سيتحول إلى رعاية أكثر أماناً، لا مجرد نتيجة أفضل في اختبار، فهذا ما لم تُجرَ التجربة الاستباقية اللازمة للإجابة عنه بعد.
كيانات وموضوعات موثّقة
المصادر والمراجع4 مصادر
المراجع الخارجية المستخدمة لدعم المعلومات الواردة في هذا المقال.
- Performance of a large language model on the reasoning tasks of a physician
- Landmark test of clinical reasoning finds AI outperformed physicians, raising bar for more serious testing
- An AI model beat doctors at diagnosing patients, in a new study
- In Harvard study, AI offered more accurate emergency room diagnoses than two human doctors
نشر بواسطة
مكتب نيو تقنية – الذكاء الاصطناعي
فريق تحريري مؤسسي تابع لنيو تقنية