مقاييس الأداء السلسة: ثورة جديدة في تقييم نماذج اللغات الضخمة

يُقدم باحثون من معهد ألن للذكاء الاصطناعي (Ai2) وجامعة واشنطن وجامعة كارنيغي ميلون طريقة جديدة ثورية لتقييم نماذج اللغات الضخمة (LLMs) أطلقوا عليها اسم “مقاييس الأداء السلسة” (Fluid Benchmarking). تُعَد هذه الطريقة نقلة نوعية في مجال تقييم أداء هذه النماذج، حيث تُحل محل طرق التقييم التقليدية الثابتة المعتمدة على الدقة، بطريقة تكيفية تعتمد على تقديرات القدرة الإحصائية (IRT) ومعيار معلومات فيشر لاختيار العناصر.

المشكلة التي تُحلّها مقاييس الأداء السلسة

تُعاني طرق التقييم التقليدية لنماذج اللغات الضخمة من عدة قصور، منها:

• دمج جودة السؤال وصعوبته: تُخلط الطرق التقليدية بين جودة الأسئلة وصعوبتها، مما يؤدي إلى نتائج مُضلّلة.
• التباين الكبير بين الخطوات: تُظهر منحنيات التدريب التقليدية تباينًا كبيرًا بين خطوات التقييم.
• تشبع مقاييس الأداء المُبكّر: تتوقف منحنيات التدريب عن التطور بشكل سريع في مراحل مبكرة، حتى وإن كان النموذج لا يزال يُحسّن أداءه.

تُعالج مقاييس الأداء السلسة هذه المشاكل من خلال إعادة صياغة كل من عملية تجميع النتائج واختيار العناصر:

• التقييم في فضاء القدرة الكامنة: بدلاً من معاملة جميع العناصر بالتساوي أو تحديدها مسبقًا، تُقيّم هذه الطريقة النماذج في فضاء القدرة الكامنة.
• التكيّف مع قدرة النموذج: تختار العناصر المُستخدمة في التقييم بناءً على قدرة النموذج الحالية، مما يُمكّن من تقييم أكثر دقة.

آلية عمل مقاييس الأداء السلسة

تعتمد مقاييس الأداء السلسة على خطوتين رئيسيتين:

1. تقدير القدرة، وليس الدقة: تستخدم هذه الطريقة نموذج IRT اللوجستي ذي المعلمتين (2PL) لتعيين الاستجابات إلى درجة قدرة كامنة. يتم وزن العناصر بناءً على تمييزها وصعوبتها، على عكس طرق التقييم التقليدية التي تُعطي جميع العناصر نفس الوزن.

2. اختيار العناصر ديناميكيًا عبر معيار معلومات فيشر: في كل خطوة من خطوات التقييم، يتم اختيار العنصر التالي الذي يُعظم معيار معلومات فيشر عند تقدير القدرة الحالية للنموذج. تساعد العناصر ذات المعلومات العالية على تقليل تباين تقدير القدرة. مع تقدم التدريب، تنتقل العناصر الأكثر فائدة من السهلة إلى الصعبة، مما يجعل مجموعة العناصر المُستخدمة تتطور مع تطور قدرة النموذج.

معايير التقييم المُحسّنة

تقيم مقاييس الأداء السلسة أربعة أبعاد رئيسية باستخدام مقاييس محددة:

• الصلاحية: الاتفاق الخارجي مع تصنيف النموذج “الحقيقي”؛ يقاس بمتوسط مسافة الترتيب (كلما انخفضت القيمة، كان ذلك أفضل).
• التباين: التباين الكلي المُعيار للمنحنى التدريبي عبر نقاط التحقق (كلما انخفضت القيمة، كان ذلك أفضل).
• التشبع: التناظر (ارتباط سبيرمان الرتبي بين مؤشر نقطة التحقق والأداء المُتوقع؛ كلما ارتفعت القيمة، كان ذلك أفضل).
• الكفاءة: الجودة عند ميزانيات العناصر الصغيرة.

نتائج قوية

أظهرت النتائج عبر ستة مقاييس مرجعية (مثل ARC-C، GSM8K، HellaSwag، MMLU، TruthfulQA، WinoGrande) وستة نماذج لغوية ضخمة مع 61-94 نقطة فحص لكل منها تحسنًا ملحوظًا في جميع الأبعاد الأربعة:

• تحسّن الصلاحية: انخفاض ملحوظ في متوسط مسافة الترتيب.
• انخفاض التباين: انخفاض كبير في التباين الكلي.
• تأخير التشبع: تحسن ملحوظ في التناظر.
• كفاءة عالية في الميزانيات الصغيرة: أداء أفضل بكثير من العينات العشوائية، خاصةً في الميزانيات الصغيرة.
• تجنب العناصر المُعلّمة بشكل خاطئ: تقليل كبير في عدد العناصر المُعلّمة بشكل خاطئ.

الإيقاف الديناميكي

تدعم مقاييس الأداء السلسة الإيقاف الديناميكي باستخدام الخطأ المعياري لتقدير القدرة، مما يسمح بإنهاء التقييم عندما يقل الخطأ المعياري عن متوسط الفجوة في القدرة بين النماذج المُجاورة في تصنيف Open LLM Leaderboard.

مكان مقاييس الأداء السلسة في عملية التقييم

تُعَد مقاييس الأداء السلسة طريقة لتحسين مقاييس الأداء الحالية، وليست طريقة لابتكار مهام جديدة. فهي تُعيد وزن وترتيب العناصر الموجودة لتعظيم المعلومات المُستخرجة.

الخلاصة

تُحسّن مقاييس الأداء السلسة من كفاءة وتَماسُك تقييم نماذج اللغات الضخمة من خلال تقييم النماذج في فضاء القدرة واختيار العناصر بناءً على معيار معلومات فيشر، مما يُؤدي إلى انخفاض التباين، وتحسين صلاحية الترتيب، وتأخير التشبع باستخدام عدد أقل بكثير من الأسئلة. تتمثل المقايضات في الحفاظ على مصفوفات استجابة مُحدّثة، وإعادة ضبط معلمات IRT بشكل دوري، وضمان ثبات ثنائية الصواب/الخطأ للمهام المفتوحة. مع توحيد هذه الممارسات، تصبح مقاييس الأداء السلسة الخيار الأمثل للتقييمات أثناء التدريب وبعده.

المصدر: MarkTechPost