مجموعة بيانات MIRIAD: ثورة في دقة نماذج اللغات الكبيرة في المجال الطبي
تُعَد نماذج اللغات الكبيرة (LLMs) بمثابة ثورة مُحتملة في مجال الرعاية الصحية، حيث تُمكّن من تقديم دعم ذكي لاتخاذ القرارات، بالإضافة إلى توفير مساعدين محادثة قابلين للتكيف. إلا أن التحدي الرئيسي يكمن في ميل هذه النماذج إلى إنتاج معلومات طبية غير دقيقة، ما يُعرّض المرضى وسلامتهم للخطر.
التحديات التي تواجه نماذج اللغات الكبيرة في صنع القرار الطبي
تُعاني نماذج اللغات الكبيرة من مشكلة “الهلوسة” (Hallucinations)، حيث تُنتج معلومات خاطئة أو غير مدعومة بأدلة علمية. ولمعالجة هذا التحدي، تُستخدم تقنية استرجاع المعلومات (RAG) على نطاق واسع، والتي تقوم بتقسيم المعرفة الطبية الخارجية إلى أجزاء نصية أصغر، تستطيع نماذج اللغات الكبيرة استرجاعها واستخدامها أثناء توليد الإجابات.
مع ذلك، تعتمد طرق استرجاع المعلومات الحالية على محتوى طبي غير مُنظم، غالباً ما يكون ضعيف الجودة، وغير مُصفّى، وصعب على نماذج اللغات الكبيرة تفسيره بفعالية. وهذا يُبرز الحاجة الملحة لتنظيم وعرض المعرفة الطبية بشكل أفضل، لضمان قدرة نماذج اللغات الكبيرة على استخدامها بشكل أكثر موثوقية ودقة.
قصور منهجيات استرجاع المعلومات الحالية في الذكاء الاصطناعي الطبي
على الرغم من الأداء المذهل لنماذج اللغات الكبيرة في المهام اللغوية العامة، إلا أنها غالباً ما تُخفق في المجالات التي تتطلب معرفة دقيقة وحديثة، مثل الطب. تُعد تقنية استرجاع المعلومات بديلاً اقتصادياً للضبط الدقيق المكلف، من خلال ربط النماذج بالأدبيات الخارجية. لكن العديد من أنظمة استرجاع المعلومات الحالية تعتمد على مُضمّنات نصية عامة وقواعد بيانات متجهة قياسية، غير مُحسّنة للمحتوى الطبي.
بخلاف المجالات العامة، يفتقر المجال الطبي إلى مجموعات بيانات كبيرة وعالية الجودة تربط بين الأسئلة الطبية والإجابات ذات الصلة. فمجموعات البيانات الموجودة، مثل PubMedQA أو MedQA، إما صغيرة الحجم، أو مُنظمّة بشكل مفرط (مثل الاختيارات المُتعددة)، أو تفتقر إلى نوع الاستجابات الواقعية المفتوحة المطلوبة لبناء أنظمة استرجاع طبية قوية.
مجموعة بيانات MIRIAD: تنظيم الأسئلة والإجابات الطبية مع التأسيس في الأبحاث المُراجعة من قبل الأقران
قام باحثون من المعهد التقني الفدرالي السويسري (ETH Zurich) وجامعة ستانفورد، وعيادة مايو، ومؤسسات أخرى، بتطوير مجموعة بيانات MIRIAD واسعة النطاق، تتضمن أكثر من 5.8 مليون زوج من التعليمات والاستجابات الطبية عالية الجودة. تم إعادة صياغة كل زوج بعناية والتأسيس على أدبيات مُراجعة من قبل الأقران، من خلال عملية شبه آلية تتضمن نماذج لغات كبيرة، ومرشحات، ومراجعة من الخبراء.
على عكس مجموعات البيانات غير المُنظمّة السابقة، تُقدّم MIRIAD معرفة طبية مُنظمّة وقابلة للاسترجاع، مما يُعزز دقة نماذج اللغات الكبيرة في مهام الأسئلة والإجابات الطبية المعقدة بنسبة تصل إلى 6.7%، ويُحسّن من كشف الهلوسات بنسبة تتراوح بين 22.5% و 37%. كما أطلقوا MIRIAD-Atlas، وهي أداة بصرية تشمل 56 مجالاً طبياً، تُمكّن المستخدمين من استكشاف هذا المورد الغني والتفاعل معه، مما يُعزز الثقة في الذكاء الاصطناعي في الرعاية الصحية.
خط أنابيب البيانات: تصفية وتنظيم الأدبيات الطبية باستخدام نماذج اللغات الكبيرة والتصنيفات
لبناء MIRIAD، قام الباحثون بتصفية 894,000 مقال طبي من مجموعة بيانات S2ORC، وقسموها إلى مقاطع قائمة على الجمل، مُستبعدين المحتوى الطويل أو الضعيف. استخدموا نماذج اللغات الكبيرة مع مُحفّزات مُنظمّة لتوليد أكثر من 10 ملايين زوج من الأسئلة والإجابات، ثم قاموا بتنقية هذه المجموعة إلى 5.8 مليون زوج من خلال تصفية قائمة على القواعد. ساعد مُصنّف مُدرّب خصيصاً، بناءً على تسميات GPT-4، في تضييق النطاق إلى 4.4 مليون زوج عالي الجودة. قام خبراء طبيون بشريون أيضاً بالتحقق من صحة عينة من حيث الدقة، والملاءمة، والتأسيس. أخيراً، قاموا بإنشاء MIRIAD-Atlas، وهي خريطة تفاعلية ثنائية الأبعاد لمجموعة البيانات، باستخدام التضمين والاختزال البعدي لتجميع المحتوى ذي الصلة حسب الموضوع والتخصص.
المكاسب في الأداء: تعزيز دقة الأسئلة والإجابات وكشف الهلوسات باستخدام MIRIAD
أحسنت مجموعة بيانات MIRIAD بشكل كبير من أداء نماذج اللغات الكبيرة في المهام الطبية. عند استخدامها في تقنية استرجاع المعلومات، حققت النماذج دقة أعلى بنسبة تصل إلى 6.7% مقارنة باستخدام البيانات غير المُنظمّة، حتى مع نفس كمية المحتوى المُسترجَع. كما عززت MIRIAD قدرة النماذج على كشف الهلوسات الطبية، مع تحسينات في درجة F1 تتراوح بين 22.5% و 37%. بالإضافة إلى ذلك، أدى تدريب نماذج الاسترجاع على MIRIAD إلى تحسين جودة الاسترجاع. يُمكّن هيكل مجموعة البيانات، المُؤسّس على أدبيات مُتحقّق منها، من الوصول إلى المعلومات بدقة وموثوقية أكبر، مما يدعم مجموعة واسعة من التطبيقات الطبية اللاحقة.
MIRIAD-Atlas: استكشاف مرئي عبر 56 مجالاً طبياً
في الختام، تُعتبر MIRIAD مجموعة بيانات كبيرة ومنظمة تتضمن 5.8 مليون زوج من الأسئلة والإجابات الطبية، مُؤسّسة على أدبيات مُراجعة من قبل الأقران، ومُصممة لدعم مجموعة من تطبيقات الذكاء الاصطناعي الطبية. وتتضمن أطلساً تفاعلياً لتسهيل الاستكشاف، وتُدمج مراقبة جودة صارمة من خلال مرشحات آلية، وتقييمات نماذج اللغات الكبيرة، ومراجعات من الخبراء. على عكس مجموعات البيانات غير المنظمة السابقة، تُحسّن MIRIAD من دقة الاسترجاع في الإجابة على الأسئلة الطبية، ويمكنها المساعدة في تحديد الهلوسات في نماذج اللغات. وفي حين أنها ليست شاملة بعد، إلا أنها تُشكّل أساساً قوياً لمجموعات البيانات المستقبلية. يمكن أن تُمكّن التحسينات المستمرة من استرجاع أكثر دقة، ومشاركة أكبر للمستخدمين، وتكامل أفضل مع الأدوات السريرية وأنظمة الذكاء الاصطناعي الطبية. يمكنكم الاطلاع على البحث العلمي، وصفحة GitHub، ومجموعة البيانات على Hugging Face.
اترك تعليقاً