ERNIE 4.5: بايدو تطلق عائلة نماذج لغة ضخمة مفتوحة المصدر

ERNIE 4.5: ثورة في معالجة اللغات الطبيعية

أعلنت شركة بايدو الصينية مؤخراً عن إطلاق عائلة نماذج اللغة الضخمة ERNIE 4.5 مفتوحة المصدر، والتي تمثل نقلة نوعية في مجال فهم اللغة، والتفكير، وإنتاج النصوص. وتتضمن هذه العائلة عشرة نماذج مختلفة، تتراوح أحجامها من 0.3 مليار إلى 424 مليار بارامتر، مما يوفر خيارات متنوعة تلبي احتياجات المستخدمين والباحثين على حد سواء. وتتوفر هذه النماذج مجاناً عبر منصة Hugging Face، مما يُسهّل الوصول إليها ويساهم في تعزيز البحوث والتطوير في مجال معالجة اللغات الطبيعية، خاصةً اللغات الصينية واللغات المتعددة.

لمحة تقنية عن بنية ERNIE 4.5

تعتمد عائلة نماذج ERNIE 4.5 على الإصدارات السابقة من نماذج ERNIE، مع إضافة تحسينات جوهرية في البنية المعمارية، بما في ذلك استخدام نماذج “الكثيفة” (Dense) و نماذج “مزيج الخبراء” (Mixture-of-Experts – MoE). تتميز نماذج MoE بكفاءتها العالية في توسيع حجم المعلمات، حيث تقوم بتفعيل مجموعة فرعية فقط من “الخبراء” لكل رمز إدخال (عادةً 2 من أصل 64 خبيرًا). هذه التقنية تحافظ على عدد المعلمات النشطة ضمن حدود معقولة، مع الحفاظ على قدرة النموذج التعبيرية وقدرته على التعميم.

تم تدريب نماذج ERNIE 4.5 باستخدام مجموعة من التقنيات، بما في ذلك:

• التدريب الدقيق الخاضع للإشراف (SFT): لتحسين أداء النماذج على مهام محددة.
• التعلم المعزز مع التغذية الراجعة البشرية (RLHF): لضمان جودة النتائج وتوافقها مع توقعات المستخدم.
• تقنيات المحاذاة التباينية (Contrastive Alignment): لتحسين قدرة النموذج على فهم السياق والارتباطات بين الكلمات والجمل.

وقد تم تدريب هذه النماذج على مجموعة بيانات ضخمة تحتوي على 5.6 تريليون رمز، تغطي مجالات متنوعة باللغتين الصينية والإنجليزية، باستخدام خط أنابيب تدريب متعدد المراحل من تصميم بايدو.

أنواع النماذج والإصدار المفتوح المصدر

تتضمن عائلة ERNIE 4.5 عشرة نماذج مختلفة، منها:

نماذج كثيفة (Dense):

• ERNIE 4.5-0.3B
• ERNIE 4.5-0.5B
• ERNIE 4.5-1.8B
• ERNIE 4.5-4B

نماذج مزيج الخبراء (MoE):

• ERNIE 4.5-MoE-3B
• ERNIE 4.5-MoE-4B
• ERNIE 4.5-MoE-6B
• ERNIE 4.5-MoE-15B
• ERNIE 4.5-MoE-47B (3 مليارات بارامتر نشطة من أصل 47 مليار)
• ERNIE 4.5-MoE-424B (أكبر نموذج أطلقته بايدو حتى الآن، ويستخدم استراتيجيات تفعيل متفرقة لتسهيل الاستدلال وتوسيع نطاقه)

وتدعم جميع النماذج كلاً من دقة 16 بت (FP16) و 8 بت (INT8) لضمان الكفاءة في الاستخدام.

معايير الأداء

أظهرت نماذج ERNIE 4.5 تحسينات كبيرة في العديد من مهام معالجة اللغات الطبيعية، سواءً باللغة الصينية أو اللغات المتعددة:

• CMMLU: تفوقت ERNIE 4.5 على إصدارات ERNIE السابقة وحققت أعلى دقة في فهم اللغة الصينية.
• MMLU: أظهرت ERNIE 4.5-47B أداءً تنافسياً مع نماذج رائدة أخرى مثل GPT-4 و Claude.
• إنتاج النصوص الطويلة: حققت ERNIE 4.5 درجات أعلى في الاتساق والدقة عند تقييمها باستخدام مقاييس بايدو الداخلية.
• مهام اتباع التعليمات: استفادت النماذج من التدريب الدقيق التبايني، مما أدى إلى تحسين التوافق مع نوايا المستخدم والحد من معدلات الهلوسة مقارنةً بإصدارات ERNIE السابقة.

التطبيقات والاستخدامات

تم تحسين نماذج ERNIE 4.5 لتناسب مجموعة واسعة من التطبيقات، بما في ذلك:

• الروبوتات الدردشة والمساعدون الافتراضيون: بفضل دعم اللغات المتعددة واتباع التعليمات.
• البحث والإجابة على الأسئلة: بفضل دقة الاسترجاع وإنتاج النصوص.
• إنشاء المحتوى: بفضل تحسين إنتاج النصوص الطويلة والمحتوى الغني بالمعلومات.
• امتدادات البرمجة والوسائط المتعددة: تشير بايدو إلى إمكانية التوافق مع امتدادات الوسائط المتعددة، على الرغم من أن الإصدار الحالي يركز على النصوص.

وتدعم بعض أنواع النماذج سياقاً يصل إلى 128 ألف رمز، مما يسمح باستخدامها في المهام التي تتطلب ذاكرة كبيرة وقدرة على التفكير عبر مستندات أو جلسات طويلة.

الخاتمة

تمثل عائلة نماذج ERNIE 4.5 خطوة كبيرة في مجال تطوير الذكاء الاصطناعي مفتوح المصدر، حيث تقدم مجموعة متعددة الاستخدامات من النماذج المصممة لتكون قابلة للتوسع، وداعمة للغات المتعددة، ومتوافقة مع التعليمات. ويؤكد قرار بايدو بإطلاق نماذج تتراوح من 0.3 مليار إلى 424 مليار بارامتر التزامها بالبحث الشفاف والمتاح للجميع في مجال الذكاء الاصطناعي. مع توثيق شامل، وتوافر مفتوح عبر Hugging Face، ودعم للانتشار الفعال، من المتوقع أن تساهم ERNIE 4.5 في تسريع التقدم العالمي في مجال فهم اللغة الطبيعية وإنتاجها. يمكنكم الاطلاع على الورقة البحثية والنماذج على منصة Hugging Face.

المصدر: MarkTechPost