نموذج في-4 ميني فلاش ريزونينج: التفكير طويل المدى بكفاءة عالية

أعلنت مايكروسوفت مؤخراً عن إصدارها الجديد من عائلة نماذج في-4 اللغوية، وهو نموذج في-4 ميني فلاش ريزونينج. يُعتبر هذا النموذج مفتوح المصدر وخفيف الوزن، مصمم خصيصاً للتفكير طويل المدى مع الحفاظ على كفاءة استنتاجية عالية. يتوفر النموذج، الذي يحتوي على 3.8 مليار معلمة، على منصة Hugging Face، وهو نسخة مُقطّرة من نموذج في-4 ميني، مُحسّن لأداء مهام التفكير الكثيفة مثل حل مسائل الرياضيات والإجابة على الأسئلة متعددة الخطوات.

بنية النموذج: الذاكرة ذات البوابات والترميز الهجين

يعتمد نموذج في-4 ميني فلاش ريزونينج على بنية سامباY (SambaY) المبتكرة، وهي نموذج مُشفّر هجين يدمج نماذج فضاء الحالة (SSMs) مع طبقات الاهتمام باستخدام آلية خفيفة الوزن تُسمى وحدة الذاكرة ذات البوابات (GMU). تُمكّن هذه البنية من مشاركة الذاكرة بكفاءة بين الطبقات، مما يقلل بشكل كبير من زمن استجابة الاستنتاج في سيناريوهات السياق الطويل والتوليد الطويل.

على عكس بنى الترانسفورمر التي تعتمد بشكل كبير على عمليات حساب الاهتمام كثيفة الذاكرة، يستخدم سامباY (وهي بنية هجينة من نماذج فضاء الحالة) في المُشفّر الذاتي، ويستبدل حوالي نصف طبقات الاهتمام المتبادل في المُشفّر المتبادل بوحدات GMU. تُعتبر وحدات GMU وظائف بوابة بسيطة، تُعيد استخدام الحالة المخفية من طبقة SSM النهائية، وبالتالي تتجنب الحسابات الزائدة. يؤدي هذا إلى تعقيد مُلء خطي وانخفاض مدخلات/مخرجات فك التشفير، مما يحقق تسريعًا كبيرًا أثناء الاستنتاج.

ميزات بنية سامباY:

• دمج نماذج فضاء الحالة (SSMs): لتحسين كفاءة معالجة المعلومات على المدى الطويل.
• وحدات الذاكرة ذات البوابات (GMUs): لخفض تكلفة الحساب وتسريع عملية الاستنتاج.
• الترميز الهجين: للتوازن بين دقة النتائج وسرعة المعالجة.

عملية التدريب وقدرات التفكير

تم تدريب نموذج في-4 ميني فلاش مسبقاً على 5 تريليون رمز من بيانات حقيقية مُصفاة وبيانات اصطناعية عالية الجودة، بما يتوافق مع باقي عائلة في-4 ميني. بعد التدريب المسبق، خضع لتدريب مُشرف متعدد المراحل (SFT) وتحسين التفضيل المباشر (DPO) باستخدام مجموعات بيانات التعليمات المُركّزة على التفكير. ومن الجدير بالذكر أنه على عكس نموذج في-4 ميني ريزونينج، فإنه يستبعد تماماً تعزيز التعلم (RLHF).

وعلى الرغم من ذلك، يتفوق نموذج في-4 ميني فلاش ريزونينج على نموذج في-4 ميني ريزونينج في مجموعة من مهام التفكير المعقدة. ففي مقياس Math500، حقق دقة Pass@1 بنسبة 92.45٪، متفوقاً على نموذج في-4 ميني ريزونينج (91.2٪) ومتجاوزاً نماذج مفتوحة أخرى مثل Qwen-1.5B و Bespoke-Stratos-7B. كما أظهر مكاسب قوية في AIME24/25، حيث حقق دقة تزيد عن 52٪ في AIME24. يُعزى هذا الارتفاع في الأداء إلى قدرة البنية على توليد سلسلة طويلة من الأفكار (CoT).

بفضل دعم سياق بطول 64 كيلوبايت، والاستنتاج المُحسّن ضمن إطار vLLM، يمكن للنموذج توليد الأفكار والتفكير عبر سياقات تتكون من آلاف الرموز دون أي اختناقات. في معايير زمن الاستجابة مع مطالبات بطول 2 كيلوبايت وتوليدات بطول 32 كيلوبايت، يوفر نموذج في-4 ميني فلاش ريزونينج إنتاجية أعلى بعشرة أضعاف من سابقه.

معالجة السياق الطويل بكفاءة

لا تقتصر مكاسب الكفاءة في نموذج في-4 ميني فلاش ريزونينج على الجانب النظري فقط. فمن خلال التصميم المُشفّر الهجين، يحقق النموذج أداءً تنافسياً في معايير السياق الطويل مثل Phonebook و RULER. فعلى سبيل المثال، مع حجم انتباه النافذة المنزلقة (SWA) صغير يصل إلى 256، يحافظ على دقة استرجاع عالية، مما يشير إلى أن التبعيات طويلة المدى للرموز يتم التقاطها بشكل جيد عبر نماذج SSM ومشاركة الذاكرة القائمة على GMU.

تؤدي هذه الابتكارات المعمارية إلى تقليل عبء الحوسبة والذاكرة. فعلى سبيل المثال، أثناء فك التشفير، تستبدل طبقات GMU عمليات الاهتمام التي ستكلف بخلاف ذلك وقتًا O(N·d) لكل رمز، لتقليلها إلى O(d)، حيث N هو طول التسلسل و d هو البعد المخفي. والنتيجة هي قدرة استنتاج في الوقت الفعلي حتى في سيناريوهات متعددة الأدوار أو على مستوى المستند.

الأوزان المفتوحة وحالات الاستخدام

أصدرت مايكروسوفت الأوزان والتكوين مفتوحة المصدر من خلال Hugging Face، مما يوفر وصولاً كاملاً للمجتمع. يدعم النموذج سياقًا بطول 64 كيلوبايت، ويعمل ضمن أوقات تشغيل Hugging Face و vLLM القياسية، وهو مُحسّن لإنتاجية الرموز السريعة على وحدات معالجة الرسومات A100.

تشمل حالات الاستخدام المحتملة لنموذج في-4 ميني فلاش ريزونينج:

• التفكير الرياضي: (مثل مسائل SAT، ومشاكل مستوى AIME).
• الإجابة على الأسئلة متعددة الخطوات.
• تحليل المستندات القانونية والعلمية.
• الوكلاء المستقلون ذوي الذاكرة طويلة المدى.
• أنظمة الدردشة عالية الإنتاجية.

إن مزيج الوصول المفتوح، وقدرة التفكير، والاستنتاج الكفؤ، يجعل منه مرشحًا قويًا للنشر في البيئات التي تكون فيها موارد الحوسبة محدودة، ولكن تعقيد المهمة مرتفع.

الخلاصة

يُجسّد نموذج في-4 ميني فلاش ريزونينج كيف يمكن للابتكار المعماري – خاصة النماذج الهجينة التي تستفيد من SSMs والبوابات الفعالة – أن يحقق مكاسب تحويلية في أداء التفكير دون زيادة حجم النموذج أو تكلفته. وهو يُمثل اتجاهًا جديدًا في النمذجة اللغوية طويلة السياق بكفاءة، ممهدًا الطريق لوكلاء التفكير في الوقت الفعلي، وعلى الجهاز، وخيارات مفتوحة المصدر قابلة للتطوير كبدائل لنماذج LLMs التجارية.

المصدر: MarkTechPost