هنيون-A13B: نموذج لغة كبير مفتوح المصدر بكفاءة عالية و قدرة استنتاجية متقدمة

هنيون-A13B: ثورة في نماذج اللغات الكبيرة

أطلقت شركة تينسنت نموذج اللغة الكبير المفتوح المصدر “هنيون-A13B”، وهو نموذج مبني على بنية “مزيج الخبراء” (MoE) المتفرقة. على الرغم من أن النموذج يتكون من 80 مليار معلمة إجمالاً، إلا أن 13 مليار معلمة فقط تكون نشطة أثناء الاستنتاج، مما يوفر توازنًا عاليًا بين الأداء والتكلفة الحسابية. يتميز هنيون-A13B بمجموعة من الخصائص المتقدمة التي تجعله نموذجًا متميزًا في مجال معالجة اللغات الطبيعية.

بنية النموذج: MoE متفرقة مع 13 مليار معلمة نشطة

يعتمد هنيون-A13B على تصميم MoE دقيق الحبيبات، يتضمن خبيرًا مشتركًا واحدًا و 64 خبيرًا غير مشترك، مع تنشيط 8 خبراء لكل عملية تمرير للأمام. تضمن هذه البنية، المدعومة بتجارب التحجيم، اتساق الأداء مع الحفاظ على انخفاض تكاليف الاستنتاج. يتضمن النموذج 32 طبقة، ويستخدم دوال التنشيط SwiGLU، وحجم مفردات 128 ألف، ويدمج GQA (انتباه الاستعلامات المجمعة) لتحسين كفاءة الذاكرة أثناء استنتاج السياقات الطويلة. يقترن إعداد MoE الخاص بالنموذج بمناهج تدريب مُحسّنة: مرحلة تدريب مُسبقة على 20 تريليون رمز، تليها عملية تبريد سريع وتكيُّف مع السياقات الطويلة. تقوم هذه المرحلة الأخيرة بتوسيع نافذة السياق أولاً إلى 32 ألف رمز ثم إلى 256 ألف رمز باستخدام ترميز الموضع المُدرك لـ NTK، مما يضمن أداءً مستقرًا لطول تسلسلات كبيرة.

آلية الاستنتاج المزدوجة: التفكير السريع والبطيء

من أبرز ميزات هنيون-A13B قدرته على التفكير المتسلسل ثنائي الوضع (CoT). يدعم كلاً من وضع التفكير السريع منخفض زمن الوصول للمعاملات الروتينية، ووضع التفكير البطيء الأكثر تفصيلًا للاستنتاج متعدد الخطوات. يتم التحكم في هذه الأوضاع من خلال نظام وسم بسيط: /no think للاستنتاج السريع و /think للاستنتاج التأملي. تتيح هذه المرونة للمستخدمين تكييف التكلفة الحسابية مع تعقيد المهمة.

مرحلة ما بعد التدريب: التعلم المعزز مع نماذج المكافآت الخاصة بالمهام

تتضمن خط أنابيب ما بعد التدريب لهنيون-A13B ضبطًا دقيقًا مُشرفًا متعدد المراحل (SFT) والتعلم المعزز (RL) عبر كل من المهام الخاصة بالاستنتاج والمهام العامة. تدمج مراحل RL مكافآت قائمة على النتائج وردود فعل خاصة بالأدوات، بما في ذلك بيئات التنفيذ الرملية للرموز والتحقق القائم على القواعد للوكلاء. في مرحلة تدريب الوكيل، قام الفريق بتوليد سيناريوهات استخدام الأدوات المتنوعة مع أدوار المخطط والمدقق والأداة، مما أدى إلى إنشاء أكثر من 20,000 تركيبة تنسيق. عزز هذا قدرة هنيون-A13B على تنفيذ سير العمل في العالم الحقيقي مثل معالجة جداول البيانات، والبحث عن المعلومات، والاستنتاج المُنظم.

التقييم: أداء وكيل متطور

يُظهر هنيون-A13B نتائج مقياسية قوية عبر مهام معالجة اللغات الطبيعية المتنوعة: في MATH و CMATH و GPQA، يحصل على درجات مماثلة أو أعلى من نماذج MoE والكثيفة الأكبر. يتفوق على Qwen3-A22B و DeepSeek R1 في الاستنتاج المنطقي (BBH: 89.1؛ ZebraLogic: 84.7). في البرمجة، يحافظ على مستواه مع 83.9 في MBPP و 69.3 في MultiPL-E. بالنسبة لمهام الوكيل، يتصدر BFCL-v3 (78.3) و ComplexFuncBench (61.2)، مما يُثبت قدراته على استخدام الأدوات. يُعد فهم السياق الطويل من النقاط البارزة الأخرى. في PenguinScrolls، يحصل على درجة 87.7 – أقل بقليل من Gemini 2.5 Pro. في RULER، يحافظ على أداء عالٍ (73.9) حتى في سياق 64 ألف – 128 ألف رمز، متفوقًا على نماذج أكبر مثل Qwen3-A22B و DeepSeek R1 في مرونة السياق.

تحسين الاستنتاج والنشر

تم دمج هنيون-A13B بالكامل مع أطر الاستنتاج الشائعة مثل vLLM و SGLang و TensorRT-LLM. يدعم تنسيقات الدقة مثل W16A16 و W8A8 و KV Cache FP8، بالإضافة إلى ميزات مثل تخزين البيانات المؤقتة التلقائي للبادئات (Auto Prefix Caching) وملء الأجزاء المُسبق (Chunk Prefill). يحقق ما يصل إلى 1981.99 رمزًا/ثانية من الإنتاجية على مدخل 32 دفعة (2048 مدخل، طول مخرجات 14336)، مما يجعله عمليًا للتطبيقات في الوقت الفعلي.

المصدر المفتوح والأهمية الصناعية

يتوفر هنيون-A13B على Hugging Face و GitHub، مع ترخيص مفتوح المصدر مرن. تم تصميمه للاستخدام البحثي والإنتاجي الفعال، خاصة في البيئات الحساسة لزمن الوصول والمهام ذات السياقات الطويلة. من خلال الجمع بين قابلية MoE للتوسع، والقدرة على الاستنتاج، وإمكانية الوصول مفتوح المصدر، يقدم هنيون-A13B من تينسنت بديلاً مُقنعًا لنماذج LLMs الضخمة، مما يُمكّن من إجراء تجارب ونشر أوسع نطاقًا دون التضحية بالقدرة.

المصدر: MarkTechPost