مقاييس الحجم الفعال للحالة: مؤشر جديد لقياس كفاءة استخدام الذاكرة في نماذج التسلسلات

تُعد نماذج التسلسلات في تعلم الآلة أدوات أساسية لمعالجة البيانات ذات البنية الزمنية، مثل اللغات الطبيعية، والبيانات الزمنية، والإشارات. تتبع هذه النماذج التبعيات عبر الخطوات الزمنية، مما يُمكّنها من توليد مخرجات متماسكة من خلال التعلم من تطور المدخلات. تُدير البنى العصبية، مثل الشبكات العصبية المتكررة وآليات الانتباه، العلاقات الزمنية من خلال حالات داخلية. تعتمد قدرة النموذج على تذكر المدخلات السابقة وربطها بالمهام الحالية على مدى كفاءة استخدام آليات الذاكرة لديه، وهو أمر بالغ الأهمية في تحديد فعالية النموذج عبر المهام الواقعية التي تتضمن بيانات تسلسلية.

تحديات قياس استخدام الذاكرة في نماذج التسلسلات

من التحديات المستمرة في دراسة نماذج التسلسلات تحديد كيفية استخدام الذاكرة أثناء الحساب. بينما يسهل قياس حجم ذاكرة النموذج – غالبًا ما يُقاس بحجم الحالة أو ذاكرة التخزين المؤقت – إلا أنه لا يكشف عن مدى فعالية استخدام هذه الذاكرة. قد يكون لنموذجين سعتا ذاكرة متشابهتان، لكنهما يختلفان اختلافًا كبيرًا في طريقة تطبيق هذه السعة أثناء التعلم. يُشير هذا التناقض إلى أن التقييمات الحالية تفشل في التقاط الفروق الدقيقة المهمة في سلوك النموذج، مما يؤدي إلى عدم الكفاءة في التصميم والتحسين. لذلك، هناك حاجة إلى مقياس أكثر دقة لمراقبة استخدام الذاكرة بدلاً من مجرد حجم الذاكرة.

النهج السابقة وقيودها

اعتمدت النهج السابقة لفهم استخدام الذاكرة في نماذج التسلسلات على مؤشرات سطحية. قدمت تصورات المشغلات، مثل خرائط الانتباه، أو المقاييس الأساسية، مثل عرض النموذج وسعة ذاكرة التخزين المؤقت، بعض الأفكار. ومع ذلك، هذه الأساليب محدودة لأنها غالبًا ما تنطبق فقط على فئات ضيقة من النماذج أو لا تأخذ في الاعتبار ميزات معمارية مهمة مثل الإخفاء السببي. علاوة على ذلك، تعيق تقنيات مثل التحليل الطيفي الافتراضات التي لا تنطبق على جميع النماذج، خاصة تلك ذات الهياكل الديناميكية أو المتغيرة حسب المدخلات. نتيجة لذلك، فهي لا ترقى إلى مستوى توجيه كيفية تحسين النماذج أو ضغطها دون تقليل الأداء.

مقياس الحجم الفعال للحالة (ESS)

قدم باحثون من Liquid AI، وجامعة طوكيو، وRIKEN، وجامعة ستانفورد مقياسًا جديدًا يُسمى “الحجم الفعال للحالة” (ESS) لقياس مقدار ذاكرة النموذج المُستخدم فعليًا. تم تطوير ESS باستخدام مبادئ من نظرية التحكم ومعالجة الإشارات، وهو يستهدف فئة عامة من النماذج التي تتضمن مشغلات خطية ثابتة ومتغيرة حسب المدخلات. يشمل ذلك مجموعة من الهياكل مثل المتغيرات الانتباهية، والطبقات التلافيفية، وآليات التكرار.

يعمل ESS من خلال تحليل رتبة المصفوفات الفرعية داخل المشغل، مع التركيز بشكل خاص على كيفية إسهام المدخلات السابقة في المخرجات الحالية، مما يوفر طريقة قابلة للقياس لتقييم استخدام الذاكرة. يعتمد حساب ESS على تحليل رتبة المصفوفات الفرعية للمشغل التي تربط مقاطع الإدخال السابقة بالمخرجات اللاحقة.

متغيرات ESS:

• ESS مع التسامح: يستخدم عتبة مُحددة من قبل المستخدم على القيم المفردة.
• ESS باستخدام الإنتروبيا: يستخدم إنتروبيا طيفية مُعاد تطبيعها للحصول على عرض أكثر تكيفًا.

كلا الطريقتين مصممتان للتعامل مع مشكلات الحساب العملية وقابلة للتوسع عبر النماذج متعددة الطبقات. يمكن حساب ESS لكل قناة ومؤشر تسلسل وتجميعه كمتوسط أو إجمالي ESS لتحليل شامل. يؤكد الباحثون أن ESS هو حد أدنى للذاكرة المطلوبة ويمكن أن يعكس الأنماط الديناميكية في تعلم النموذج.

التقييم التجريبي و تطبيقات ESS

أكد التقييم التجريبي أن ESS يرتبط ارتباطًا وثيقًا بالأداء عبر مهام متنوعة. في مهام الاستدعاء الترابطي متعدد الاستعلامات (MQAR)، أظهر ESS المُعاد تطبيعه حسب عدد أزواج المفتاح والقيمة (ESS/kv) ارتباطًا أقوى مع دقة النموذج من حجم الحالة النظري (TSS/kv). على سبيل المثال، حققت النماذج ذات ESS العالي دقة أعلى باستمرار.

كشفت الدراسة أيضًا عن وضعين للفشل في استخدام ذاكرة النموذج:

• تشبع الحالة: حيث يكاد يساوي ESS قيمة TSS.
• انهيار الحالة: حيث يظل ESS دون الاستخدام الأمثل.

تم تطبيق ESS بنجاح أيضًا على ضغط النموذج عبر التقطير. أدى ارتفاع ESS في نماذج المعلم إلى خسارة أكبر عند الضغط إلى نماذج أصغر، مما يُظهر فائدة ESS في التنبؤ بالقابليّة للضغط. كما تتبع كيفية تعديل رموز نهاية التسلسل لاستخدام الذاكرة في نماذج اللغات الكبيرة مثل Falcon Mamba 7B.

الخلاصة

تُلخص الدراسة نهجًا دقيقًا وفعالًا لحل الفجوة بين حجم الذاكرة النظري واستخدام الذاكرة الفعلي في نماذج التسلسلات. من خلال تطوير ESS، يقدم الباحثون مقياسًا قويًا يُضفي الوضوح على تقييم النموذج وتحسينه. يُمهّد الطريق لتصميم نماذج تسلسلات أكثر كفاءة، ويُمكّن من استخدام ESS في استراتيجيات التنظيم، والتهيئة، وضغط النموذج، القائمة على سلوك ذاكرة واضح وقابل للقياس.

المصدر: MarkTechPost