نموذج نيموترون-15ب من سيرفيسنو: قوة المعالجة ضمن حجم مضغوط
تُعَدّ نماذج الذكاء الاصطناعي اليوم مُطالَبَةً بإنجاز مهام معقدة، مثل حل المسائل الرياضية، وفهم البيانات المنطقية، والمساعدة في اتخاذ القرارات المؤسسية. ويقتضي بناء هذه النماذج دمجًا متقنًا بين المنطق الرياضي، والفهم العلمي، وقدرة متقدمة على التعرف على الأنماط. ومع تزايد الطلب على الوكلاء الذكيين في التطبيقات التي تعمل في الوقت الحقيقي، مثل مساعدي البرمجة وأدوات أتمتة الأعمال، تبرز الحاجة الملحة إلى نماذج تجمع بين الأداء القوي وكفاءة استخدام الذاكرة والرموز، مما يجعلها قابلة للنشر في بيئات الأجهزة العملية.
تحديات نشر نماذج الاستدلال الضخمة
يُشَكِّل استهلاك الموارد الهائل لنماذج الاستدلال واسعة النطاق تحديًا رئيسيًا في تطوير الذكاء الاصطناعي. فعلى الرغم من قدراتها القوية، غالبًا ما تتطلب هذه النماذج موارد ذاكرة وحوسبة كبيرة، مما يحد من قابليتها للتطبيق في العالم الحقيقي. وهذا يخلق فجوة بين ما يمكن أن تحققه النماذج المتقدمة وما يمكن للمستخدمين نشره فعليًا. حتى الشركات المجهزة جيدًا قد تجد تشغيل نماذج تتطلب عشرات الجيجابايت من الذاكرة أو تكاليف استنتاج عالية أمرًا غير مستدام. المسألة ليست فقط في بناء نماذج أكثر ذكاءً، بل في ضمان كفاءتها وقابليتها للنشر في منصات العالم الحقيقي.
تتميز نماذج عالية الأداء مثل QWQ‑32b و o1‑mini و EXAONE‑Deep‑32b بأداءها المتميز في المهام التي تتضمن الاستدلال الرياضي والمعايير الأكاديمية. ومع ذلك، فإن اعتمادها على وحدات معالجة الرسوميات المتطورة واستهلاكها العالي للرموز يحد من استخدامها في بيئات الإنتاج. تُبرز هذه النماذج التوازن المستمر في نشر الذكاء الاصطناعي: تحقيق دقة عالية على حساب قابلية التوسع والكفاءة.
نموذج Apriel-Nemotron-15b-Thinker: حل وسط مثالي
للتغلب على هذه الفجوة، قام الباحثون في ServiceNow بتقديم نموذج Apriel-Nemotron-15b-Thinker. يتكون هذا النموذج من 15 مليار معامل، وهو حجم معتدل نسبيًا مقارنة بنظرائه من ذوي الأداء العالي، ولكنه يُظهر أداءً يُضاهي نماذج أكبر منه بحوالي الضعف. تكمن الميزة الأساسية في مساحة الذاكرة التي يحتلها وكفاءته في استخدام الرموز. فبينما يقدم نتائج تنافسية، إلا أنه يتطلب ما يقرب من نصف ذاكرة QWQ‑32b و EXAONE‑Deep‑32b. يساهم هذا مباشرة في تحسين الكفاءة التشغيلية في بيئات المؤسسات، مما يجعل من الممكن دمج نماذج استدلال عالية الأداء في تطبيقات العالم الحقيقي دون ترقيات واسعة النطاق للبنية التحتية.
مراحل تدريب نموذج Apriel-Nemotron-15b-Thinker
تبع تطوير نموذج Apriel-Nemotron-15b-Thinker نهجًا مُهيكَّلًا من ثلاث مراحل تدريب، صُممت كل منها لتعزيز جانب محدد من قدرات الاستدلال الخاصة بالنموذج:
- مرحلة التدريب المُستمر (CPT): تم فيها تعريض النموذج لأكثر من 100 مليار رمز. لم تكن هذه الرموز نصًا عامًا، بل أمثلة مختارة بعناية من المجالات التي تتطلب استدلالًا عميقًا، ومنطقًا رياضيًا، وتحديات برمجة، وأدبيات علمية، ومهام استنتاج منطقي. وقد وفر هذا التعرض القدرات الأساسية للاستدلال التي تميز النموذج عن غيره.
- مرحلة الضبط الدقيق المُشرف عليه (SFT): باستخدام 200,000 عرض توضيحي عالي الجودة. وقد قامت هذه الأمثلة بمعايرة استجابات النموذج لمشاكل الاستدلال بشكل أكبر، مما عزز الأداء في المهام التي تتطلب دقة واهتمامًا بالتفاصيل.
- مرحلة تحسين تفضيلات التعزيز المُوجَّه (GRPO): صقلت هذه المرحلة مخرجات النموذج من خلال تحسين المحاذاة مع النتائج المتوقعة عبر المهام الرئيسية. يضمن هذا التدريب أن يكون النموذج ذكيًا ودقيقًا ومنظمًا وقابلًا للتوسع.
الأداء في المهام العملية والأكاديمية
في المهام الخاصة بالمؤسسات، مثل MBPP و BFCL و Enterprise RAG و MT Bench و MixEval و IFEval و Multi-Challenge، حقق النموذج أداءً تنافسيًا أو أفضل من النماذج الأكبر حجمًا. أما فيما يتعلق بكفاءة الإنتاج، فقد استهلك 40% أقل من الرموز مقارنةً بـ QWQ‑32b، مما قلل بشكل كبير من تكاليف الاستنتاج. من ناحية الذاكرة، يحقق كل هذا باستخدام ما يقرب من 50% من الذاكرة اللازمة لـ QWQ‑32b و EXAONE-Deep‑32b، مما يشير إلى تحسن كبير في قابلية النشر. حتى في المعايير الأكاديمية، مثل AIME-24 و AIME-25 و AMC-23 و MATH-500 و GPQA، حافظ النموذج على مكانته، حيث عادل أو تجاوز أداء نماذج أكبر أخرى، وكل ذلك مع كونه أخف بكثير من حيث الطلب الحسابي.
النقاط الرئيسية
- حجم مضغوط وأداء قوي: يحتوي Apriel-Nemotron-15b-Thinker على 15 مليار معامل، وهو حجم أصغر بكثير من QWQ-32b أو EXAONE-Deep-32b، ولكنه يُظهر أداءً تنافسيًا.
- تدريب ثلاثي المراحل: يستخدم تدريبًا من ثلاث مراحل: CPT و SFT و GRPO.
- كفاءة عالية في استخدام الذاكرة والرموز: يستهلك حوالي 50% أقل من الذاكرة من QWQ-32b، مما يسمح بنشره بسهولة على أجهزة المؤسسات، و 40% أقل من الرموز في مهام الإنتاج.
- أداء متميز: يتفوق على أو يُعادل نماذج أكبر في المهام العملية والأكاديمية.
- مُحسَّن للمهام المؤسسية: مُصمم خصيصًا للاستخدام في العالم الحقيقي، مع تجنب الاعتماد المفرط على بيئات الحوسبة على نطاق المختبر.
للمزيد من المعلومات:
يمكنكم الاطلاع على النموذج على Hugging Face. كما ندعوكم لمتابعتنا على تويتر.
اترك تعليقاً