تحسين تعميم نماذج اللغات: جسر الهوة بين التعلم ضمن السياق والضبط الدقيق
يُظهر هذا المقال نتائج أبحاث حديثة تهدف إلى فهم الفروقات بين آليتي التعلم ضمن السياق والضبط الدقيق في نماذج اللغات الكبيرة (LLMs)، وكيفية الاستفادة من هذه الفروقات لتحسين أداء هذه النماذج.
قدرات نماذج اللغات الكبيرة
تتميز نماذج اللغات الكبيرة، المدربة على كميات هائلة من بيانات النصوص من الإنترنت، بقدرتها على التعلم ضمن السياق (In-context Learning). فهي تستطيع تعميم معرفتها على مهام جديدة بناءً على أمثلة قليلة فقط. مع ذلك، يواجه ضبط هذه النماذج الدقيق (Fine-tuning) على مهام محددة تحديات كبيرة. ففي حين يتطلب الضبط الدقيق مئات أو آلاف الأمثلة، إلا أن أنماط التعميم الناتجة عنه تظهر قيودًا. فعلى سبيل المثال، قد تعجز النماذج المُضَبَّطة بدقة على جمل مثل “أم B هي A” عن الإجابة على أسئلة ذات صلة مثل “من هو ابن A؟”، على الرغم من قدرتها على التعامل مع هذه العلاقات العكسية ضمن السياق. هذا يُثير تساؤلات حول الاختلافات بين أنماط تعميم التعلم ضمن السياق والضبط الدقيق، وكيفية استخدام هذه الاختلافات في تطوير استراتيجيات أفضل لتكييف النماذج مع المهام المطلوبة.
منهجيات البحث في تحسين قابلية التكيّف
تُتبع عدة مناهج رئيسية في الأبحاث التي تهدف إلى تحسين قابلية تكيّف نماذج اللغات الكبيرة:
- دراسات التعلم ضمن السياق: تُركز هذه الدراسات على تحليل أنماط التعلم والتعميم من خلال تحليلات تجريبية وآلية ونظرية.
- دراسات التعلم خارج السياق: تستكشف هذه الدراسات كيفية استخدام النماذج للمعلومات التي لم تُدرج صراحةً في المطالبات.
- تقنيات زيادة البيانات: تستخدم هذه التقنيات نماذج اللغات الكبيرة لتعزيز الأداء من مجموعات بيانات محدودة، مع وجود حلول محددة تستهدف مشاكل مثل “لعنة الانعكاس” (Reversal Curse) من خلال عمليات زيادة البيانات المُبرمجة يدويًا، وتدريب الإغلاق الاستنتاجي، وتوليد مسارات المنطق.
- مقاربات البيانات الاصطناعية: تطورت هذه المقاربات من إنشاء بيانات مصممة يدويًا في البداية لتحسين التعميم في مجالات مثل اللغويات أو الرياضيات، إلى أساليب أكثر حداثة تولد البيانات مباشرةً من نماذج اللغات نفسها.
تجارب Google DeepMind وجامعة Stanford
قام باحثون من Google DeepMind وجامعة ستانفورد ببناء العديد من مجموعات البيانات التي تُفصل المعرفة من بيانات ما قبل التدريب لإنشاء اختبارات تعميم دقيقة. تم تقييم الأداء عبر أنواع مختلفة من التعميم من خلال تعريض النماذج المدربة مسبقًا لمجموعات فرعية مُتحكمة من المعلومات، سواء ضمن السياق أو من خلال الضبط الدقيق. وقد كشفت نتائجهم أن التعلم ضمن السياق يُظهر تعميمًا أكثر مرونة من الضبط الدقيق في الإعدادات المتطابقة للبيانات، على الرغم من وجود بعض الاستثناءات حيث يمكن للضبط الدقيق أن يُعمم على الانعكاسات داخل هياكل معرفية أكبر.
تعزيز تعميم الضبط الدقيق من خلال الاستنتاجات ضمن السياق
بناءً على هذه الرؤى، طور الباحثون طريقة تُعزز تعميم الضبط الدقيق من خلال تضمين الاستنتاجات ضمن السياق في بيانات الضبط الدقيق. استخدم الباحثون مجموعات بيانات متعددة مصممة بعناية لعزل تحديات التعميم المحددة أو إدراجها ضمن سياقات تعلم أوسع. يعتمد التقييم على تسجيل احتمالية الاختيارات المتعددة دون تقديم خيارات الإجابة ضمن السياق. شملت التجارب ضبط Gemini 1.5 Flash الدقيق باستخدام أحجام دفعات (batch sizes) 8 أو 16. للتقييم ضمن السياق، قام الباحثون بدمج وثائق التدريب كسياق للنموذج المُضَبَّط بناءً على التعليمات، مع أخذ عينات عشوائية بنسبة 8x لمجموعات البيانات الأكبر لتقليل مشاكل التداخل.
الابتكار الرئيسي هو نهج زيادة البيانات باستخدام التعميم ضمن السياق لتعزيز تغطية بيانات الضبط الدقيق. يتضمن هذا استراتيجيات محلية وعالمية، كل منها يستخدم سياقات ومطالبات مختلفة. في مجموعة بيانات “لعنة الانعكاس”، حقق التعلم ضمن السياق أداءً قريبًا من الحد الأقصى في الانعكاسات، بينما أظهر الضبط الدقيق التقليدي دقة قريبة من الصفر حيث تفضل النماذج أسماء المشاهير غير الصحيحة التي شوهدت أثناء التدريب. يُطابق الضبط الدقيق مع البيانات المُعززة من خلال الاستنتاجات ضمن السياق الأداء العالي للتعلم ضمن السياق النقي. يكشف الاختبار على الانعكاسات البسيطة غير المنطقية عن أنماط مماثلة، وإن كانت الفوائد أقل وضوحًا. بالنسبة للبراهين الاستنتاجية البسيطة، بينما يؤدي النموذج المدرب مسبقًا إلى مستوى عشوائي (مما يشير إلى عدم وجود تلوث للبيانات)، إلا أن الضبط الدقيق يُنتج تعميمًا أعلى من المستوى العشوائي لأنواع معينة من البراهين الاستنتاجية حيث تتوافق الاستنتاجات المنطقية مع الأنماط اللغوية البسيطة. ومع ذلك، يتفوق التعلم ضمن السياق على الضبط الدقيق، مع إظهار الضبط الدقيق المُعزز أفضل النتائج بشكل عام.
الخلاصة والمقترحات المستقبلية
في الختام، يستكشف هذا البحث الاختلافات في التعميم بين التعلم ضمن السياق والضبط الدقيق عندما تواجه نماذج اللغات الكبيرة هياكل معلوماتية جديدة. تُظهر النتائج تفوق التعلم ضمن السياق في التعميم لأنواع معينة من الاستنتاجات، مما يدفع الباحثين إلى تطوير طرق تُعزز أداء الضبط الدقيق من خلال دمج الاستنتاجات ضمن السياق في بيانات التدريب. على الرغم من النتائج الواعدة، إلا أن هناك عدة قيود تؤثر على الدراسة. أولها هو الاعتماد على الكلمات غير المنطقية والعمليات غير المعقولة. ثانيًا، يركز البحث على نماذج محددة من نماذج اللغات الكبيرة، مما يحد من عمومية النتائج. يجب أن تبحث الأبحاث المستقبلية في اختلافات التعلم والتعميم عبر نماذج مختلفة لتوسيع هذه النتائج، خاصة نماذج الاستدلال الأحدث.
اترك تعليقاً