نموذج MobileLLM-R1: ثورة في معالجة اللغة الطبيعية على الأجهزة المحمولة

أعلنت شركة Meta مؤخراً عن إطلاق عائلة نماذج MobileLLM-R1، وهي نماذج خفيفة الوزن مصممة للتفكير المنطقي على الحواف (Edge Reasoning)، متوفرة الآن على منصة Hugging Face. تتميز هذه النماذج بعدد من المعلمات يتراوح بين 140 مليون إلى 950 مليون، مع التركيز على الكفاءة العالية في العمليات الحسابية، والبرمجة، والتفكير العلمي. وعلى عكس نماذج المحادثة العامة، صُممت MobileLLM-R1 خصيصاً للنشر على الأجهزة المحمولة، بهدف تحقيق دقة متقدمة في التفكير مع الحفاظ على كفاءة الحساب.

بنية MobileLLM-R1 المعمارية

يعتمد أكبر نموذج في العائلة، MobileLLM-R1-950M، على العديد من التحسينات المعمارية، منها:

• 22 طبقة محول (Transformer): مع 24 رأساً للانتباه و 6 رؤوس مُجمّعة لـ KV.
• بعد التضمين (Embedding dimension): 1536.
• بعد مخفي (Hidden dimension): 6144.
• الانتباه المُجمّع للاستعلام (GQA): لتقليل الحساب والذاكرة.
• مشاركة الأوزان على مستوى الكتل: لتقليل عدد المعلمات دون التأثير بشكل كبير على زمن الاستجابة.
• دوال التنشيط SwiGLU: لتحسين تمثيل النماذج الصغيرة.
• طول السياق (Context length): 4000 وحدة للنموذج الأساسي، و 32000 وحدة للنماذج المُدرّبة لاحقاً.
• مفردات (Vocabulary): 128,000 وحدة، مع تضمينات مدخل/مخرج مشتركة.

يرتكز هذا التصميم على تقليل متطلبات الحساب والذاكرة، مما يجعله مناسباً للنشر على الأجهزة ذات الموارد المحدودة.

كفاءة التدريب

يتميز MobileLLM-R1 بكفاءته العالية في استخدام البيانات:

• تم تدريبه على حوالي 4.2 تريليون وحدة رمز (Token).
• بالمقارنة، تم تدريب نموذج Qwen3 (0.6 مليار معلمة) على 36 تريليون وحدة رمز.
• هذا يعني أن MobileLLM-R1 استخدم فقط حوالي 11.7% من بيانات Qwen3 لتحقيق دقة مماثلة أو أعلى.

ويتمّ التدريب اللاحق باستخدام ضبط دقيق مُشرف على مجموعات بيانات رياضية وبرمجية ومنطقية. وهذه الكفاءة تُترجم إلى انخفاض في تكاليف التدريب واحتياجات الموارد.

أداء MobileLLM-R1 مقارنةً بنماذج مفتوحة المصدر أخرى

أظهر MobileLLM-R1-950M مكاسب كبيرة في معايير الأداء:

• الرياضيات (مجموعة بيانات MATH500): دقة أعلى بحوالي 5 أضعاف من Olmo-1.24B، وحوالي ضعف دقة SmolLM2-1.7B.
• الاستدلال والبرمجة (GSM8K، AIME، LiveCodeBench): يضاهي أو يتفوق على Qwen3-0.6B، على الرغم من استخدامه لعدد أقل بكثير من وحدات الرمز.

يقدم النموذج نتائج عادةً ما ترتبط بعمارات أكبر مع الحفاظ على حجم أصغر.

نقاط الضعف في MobileLLM-R1

يركز النموذج على مجالات محددة، مما يخلق بعض القيود:

• نقاط القوة: قوي في الرياضيات، والبرمجة، والتفكير المنظم.
• نقاط الضعف: أضعف في المحادثات العامة، والفهم العام، والمهام الإبداعية مقارنةً بنماذج LLMs الأكبر.
• التراخيص: يخضع النموذج لترخيص FAIR NC (غير تجاري)، مما يحد من استخدامه في الإعدادات الإنتاجية.
• طول السياقات: السياقات الأطول (32000 وحدة) تزيد من متطلبات ذاكرة التخزين المؤقت KV.

مقارنة MobileLLM-R1 مع Qwen3، SmolLM2، و OLMo

النموذج	عدد المعلمات (مليار)	وحدات الرمز (تريليون)	MATH500	GSM8K	AIME’24	AIME’25	LiveCodeBench
MobileLLM-R1-950M	0.949	4.2	74.0	67.5	15.5	16.3	19.9
Qwen3-0.6B	0.596	36	73.0	79.2	11.3	17.0	14.9
SmolLM2-1.7B-Instruct	1.71	~11	19.2	41.8	0.3	0.1	4.4
OLMo-2-1B-Instruct	1.48	~3.9	19.2	69.7	0.6	0.1	0.0

ملاحظات رئيسية:

• MobileLLM-R1-950M يضاهي Qwen3-0.6B في الرياضيات (74.0 مقابل 73.0) مع استخدام حوالي 8.6 أضعاف أقل من وحدات الرمز.
• الفروقات في الأداء بين MobileLLM-R1-950M و SmolLM2 و OLMo كبيرة عبر مهام الاستدلال.
• يحتفظ Qwen3 بميزة في GSM8K، لكن الفرق صغير مقارنة بميزة كفاءة التدريب.

الخلاصة

يُبرز MobileLLM-R1 من Meta اتجاهاً نحو نماذج أصغر حجماً ومُحسّنة لمجالات محددة، توفر قدرات استدلال تنافسية دون الحاجة إلى ميزانيات تدريب ضخمة. من خلال تحقيق مكاسب في الأداء تتراوح بين الضعف وخمسة أضعاف مقارنةً بنماذج مفتوحة المصدر أكبر حجماً، مع تدريب على جزء صغير من البيانات، يُثبت MobileLLM-R1 أن الكفاءة، وليس الحجم فقط، ستحدد المرحلة التالية من نشر نماذج LLMs، خاصةً في مجالات الرياضيات، والبرمجة، والاستخدامات العلمية على الأجهزة المحمولة.

يمكنكم الاطلاع على النموذج على منصة Hugging Face. كما يمكنكم زيارة صفحة GitHub الخاصة بنا للحصول على الدروس، والرموز، ودفاتر الملاحظات. تابعونا أيضاً على تويتر، وانضموا إلى مجتمعنا على Reddit، واشتركوا في قائمتنا البريدية.

المصدر: MarkTechPost