هل تُحسّن الإجابات الخاطئة المنطق الرياضي؟ دراسة مُفاجئة حول تعلم التعزيز مع نماذج Qwen2.5-Math

في معالجة اللغات الطبيعية (NLP)، تُستخدم أساليب تعلم التعزيز، مثل تعلم التعزيز مع التغذية الراجعة البشرية (RLHF)، لتحسين مخرجات النماذج من خلال تحسين الاستجابات بناءً على إشارات التغذية الراجعة. يُوسّع متغير محدد، وهو تعلم التعزيز مع المكافآت القابلة للتحقق (RLVR)، هذا النهج من خلال استخدام إشارات آلية، مثل الصحة الرياضية أو الخصائص النحوية، كتغذية راجعة، مما يُمكّن من ضبط نماذج اللغات على نطاق واسع.

أهمية تعلم التعزيز مع المكافآت القابلة للتحقق (RLVR)

يُعدّ RLVR مثيرًا للاهتمام بشكل خاص لأنه يعد بتعزيز قدرات النماذج على التفكير المنطقي دون الحاجة إلى إشراف بشري مكثف. يُشكّل هذا التقاطع بين التغذية الراجعة الآلية ومهام التفكير مجالًا بحثيًا مُثيرًا، حيث يهدف المُطوّرون إلى الكشف عن كيفية تعلم النماذج التفكير رياضيًا أو منطقيًا أو هيكليًا باستخدام إشراف محدود.

التحديات في تعلم التفكير المنطقي بالذكاء الاصطناعي

يُشكل بناء نماذج قادرة على التفكير بفعالية تحت إشراف ضئيل أو غير كامل تحديًا مستمرًا في تعلم الآلة. في مهام مثل حلّ المسائل الرياضية، حيث قد لا تكون الإجابة الصحيحة متاحة على الفور، يكافح الباحثون في كيفية توجيه تعلم النموذج. غالبًا ما تتعلم النماذج من بيانات دقيقة، لكن من غير العملي وضع علامات على مجموعات بيانات ضخمة بدقة تامة، خاصة في مهام التفكير التي تتطلب فهم هياكل معقدة مثل البراهين أو الخطوات البرمجية. وبالتالي، هناك سؤال مفتوح حول ما إذا كان بإمكان النماذج تعلم التفكير إذا تعرضت لإشارات ضوضاء أو مُضللة أو حتى خاطئة أثناء التدريب. هذه المسألة مهمة لأن النماذج التي تعتمد بشكل مفرط على التغذية الراجعة المثالية قد لا تُعمّم بشكل جيد عندما يكون هذا الإشراف غير متوفر، مما يُحدّ من فائدتها في سيناريوهات العالم الحقيقي.

تجربة استخدام إشارات مكافأة مُختلفة مع نموذج Qwen2.5-Math

يُحقق باحثون من جامعة واشنطن، ومعهد ألين للذكاء الاصطناعي، وجامعة كاليفورنيا، بيركلي، هذا السؤال من خلال اختبار إشارات مكافأة متنوعة على Qwen2.5-Math، وهي عائلة من نماذج اللغات الكبيرة المُحسّنة للتفكير الرياضي. قاموا باختبار مكافآت دقيقة، ومكافآت تصويت الأغلبية، ومكافآت التنسيق بناءً على التعبيرات المُغلّفة، ومكافآت عشوائية، ومكافآت خاطئة.

النتائج المُفاجئة: تحسين الأداء حتى مع الإجابات الخاطئة!

بشكل ملحوظ، لاحظوا أن حتى الإشارات الوهمية تمامًا، مثل المكافآت العشوائية والمكافآت للإجابات الخاطئة، يمكن أن تؤدي إلى مكاسب كبيرة في أداء نماذج Qwen. على سبيل المثال، أدى تدريب Qwen2.5-Math-7B على MATH-500 باستخدام مكافآت دقيقة إلى تحسين بنسبة 28.8٪، بينما أدى استخدام علامات خاطئة إلى زيادة بنسبة 24.6٪. لا تزال المكافآت العشوائية تُنتج زيادة بنسبة 21.4٪، وأدت مكافآت التنسيق إلى تحسين بنسبة 16.4٪. وقد وفرت مكافآت تصويت الأغلبية مكسبًا في الدقة بنسبة 26.5٪. لم تقتصر هذه التحسينات على نموذج واحد؛ فقد أظهر Qwen2.5-Math-1.5B أيضًا مكاسب قوية: حيث عززت مكافآت التنسيق الدقة بنسبة 17.6٪، والعلامات الخاطئة بنسبة 24.4٪.

اختلاف الاستجابة بين نماذج مختلفة

ومع ذلك، فشلت استراتيجيات المكافأة نفسها في تحقيق فوائد مماثلة على عائلات نماذج أخرى، مثل Llama3 و OLMo2، والتي أظهرت تغييرات ضئيلة أو سلبية عند تدريبها بمكافآت وهمية. على سبيل المثال، شهد Llama3.1-8B انخفاضًا في الأداء يصل إلى 8.5٪ تحت إشارات وهمية معينة، مما يُبرز الطبيعة الخاصة بالنموذج للتحسينات المُلاحظة.

ظاهرة “الاستدلال البرمجي” في نماذج Qwen

وجد الفريق البحثي أن نماذج Qwen تميل إلى إظهار سلوك مميز يُسمى “الاستدلال البرمجي”، حيث تُنشئ حلولًا رياضية مُنسّقة كشفرة، خاصةً بتنسيقات تشبه Python، بغض النظر عما إذا كانت إشارة المكافأة ذات معنى أم لا. أصبح هذا الميل نحو الاستدلال البرمجي أكثر تواترًا خلال التدريب، حيث ارتفع من 66.7٪ إلى أكثر من 90٪ في Qwen2.5-Math-7B عند التدريب بمكافآت وهمية. أظهرت الإجابات التي تضمنت استدلالًا برمجيًا معدلات دقة أعلى، غالبًا حوالي 64٪، مقارنةً بـ 29٪ فقط للإجابات بدون أنماط استدلال مماثلة. برزت هذه الأنماط باستمرار، مما يُشير إلى أن المكافآت الوهمية قد تُفتح قدرات كامنة تم تعلمها خلال مرحلة ما قبل التدريب بدلاً من إدخال مهارات تفكير جديدة.

النتائج الرئيسية للدراسة

• حقق Qwen2.5-Math-7B مكسبًا في الدقة بنسبة 28.8٪ على MATH-500 باستخدام مكافآت دقيقة، ولكن أيضًا 24.6٪ بمكافآت خاطئة، و 21.4٪ بمكافآت عشوائية، و 16.4٪ بمكافآت التنسيق، و 26.5٪ بمكافآت تصويت الأغلبية.
• ظهرت أنماط الاستدلال البرمجي في نماذج Qwen، حيث زادت من 66.7٪ إلى أكثر من 90٪ تحت RLVR، مما عزز الدقة من 29٪ إلى 64٪.
• لم تُظهر نماذج غير Qwen، مثل Llama3 و OLMo2، تحسينات مماثلة، حيث شهد Llama3.1-8B انخفاضًا في الأداء يصل إلى 8.5٪ على المكافآت الوهمية.
• ظهرت مكاسب من الإشارات الوهمية في غضون 50 خطوة تدريب في العديد من الحالات، مما يُشير إلى الاستخراج السريع لقدرات التفكير.

تحذيرات الدراسة

تحذر الدراسة من أن دراسات RLVR يجب أن تتجنب تعميم النتائج بناءً على نماذج Qwen وحدها، حيث إن فعالية المكافأة الوهمية ليست عالمية.

الخلاصة

تشير هذه النتائج إلى أنه بينما يمكن لنماذج Qwen الاستفادة من الإشارات الوهمية لتحسين الأداء، فإن الأمر ليس صحيحًا بالنسبة لعائلات النماذج الأخرى. أظهرت نماذج غير Qwen، مثل Llama3 و OLMo2، تغييرات في الأداء مسطحة أو سلبية عند تدريبها بإشارات وهمية. تُشدد الدراسة على أهمية التحقق من صحة طرق RLVR على نماذج متنوعة بدلاً من الاعتماد فقط على نتائج Qwen، كما فعلت العديد من الأوراق البحثية الحديثة.

المصدر: MarkTechPost