نموذج العالم الرمزي (CWM): ثورة في توليد الأكواد البرمجية بفضل نماذج العالم

قدم معهد أبحاث الذكاء الاصطناعي في ميتا (FAIR) نموذجًا لغويًا ضخمًا جديدًا يُعرف باسم “نموذج العالم الرمزي” (Code World Model – CWM)، ويضم 32 مليار معامل، مُصمم خصيصًا لإحداث نقلة نوعية في مجال توليد الأكواد البرمجية. يعتمد CWM على نهج مبتكر يُدمج “نماذج العالم” في عملية التوليد، مما يُمكّنه من فهم سياق التنفيذ وفهم كيفية تطور حالة البرنامج، وليس مجرد تحليل التركيب النحوي للكود.

ميزات نموذج العالم الرمزي (CWM)

• التعلم من خلال التتبع: يتعلم CWM من خلال تتبع تنفيذ الأكواد البرمجية، مما يُتيح له فهم كيفية تغير حالة المتغيرات خلال عملية التنفيذ. يعتمد هذا التتبع على سجلات تنفيذ مترجم بايثون، بالإضافة إلى تتبع التفاعلات بين العوامل (Agents) والبيئة داخل حاويات Docker.
• بيانات التدريب الضخمة: تم تدريب CWM على مجموعات بيانات ضخمة تضم ملايين المسارات التنفيذية، مستخلصة من آلاف المشاريع على منصة جيت هاب، باستخدام وكيل برمجي متخصص في استخراج مسارات متعددة الخطوات.
• هيكلة متقدمة: يعتمد CWM على بنية مُحوّل Transformer كثيفة، مع 64 طبقة، وآلية انتباه مُحسّنة تسمح بمعالجة سياقات طويلة تصل إلى 131 ألف رمز.
• مراحل التدريب: تضمن عملية تدريب CWM ثلاث مراحل رئيسية:
  • مرحلة ما قبل التدريب: تدريب على 8 تريليون رمز من الأكواد البرمجية.
  • مرحلة التدريب المتوسط: تدريب إضافي على 5 تريليون رمز، باستخدام بيانات تتبع التنفيذ، و بيانات من وكيل ForagerAgent، بالإضافة إلى بيانات أخرى مثل تصحيحات الأكواد و نواة معالجة Triton و رموز Lean الرياضية.
  • مرحلة ما بعد التدريب: تدريب مُعزز باستخدام تقنيات التعلم المعزز، لتحسين قدرة النموذج على توليد أكواد دقيقة وفعّالة.
• الاستنتاج المُحسّن: يمكن تشغيل CWM بكفاءة عالية على بطاقة رسومية واحدة من طراز H100 بسعة 80 جيجابايت.

نتائج الاختبارات

أظهر CWM أداءً متميزًا في العديد من معايير الاختبار، منها:

• SWE-bench Verified: دقة 65.8%.
• LiveCodeBench-v5: دقة 68.6%.
• LiveCodeBench-v6: دقة 63.5%.
• Math-500: دقة 96.6%.
• AIME-24: دقة 76.0%.
• AIME-25: دقة 68.2%.
• CruxEval-Output: دقة 94.3%.

أهمية نماذج العالم في توليد الأكواد

يُبرز CWM أهمية دمج نماذج العالم في توليد الأكواد البرمجية من خلال:

• التنبؤ بتتبع التنفيذ: يتمكن CWM من التنبؤ بحالة البرنامج في كل خطوة من خطوات التنفيذ، مما يُمكن استخدامه كأداة تصحيح أخطاء فعّالة.
• التشفير التفاعلي: يُتيح CWM توليد أكواد برمجية متعددة الخطوات، مع استخدام أدوات خارجية، والتحقق من صحة النتائج من خلال اختبارات مُدمجة.

الخلاصة

يُمثل CWM خطوة هامة نحو توليد أكواد برمجية أكثر دقة وفعالية، بفضل دمج نماذج العالم في عملية التوليد. ويُتيح إصداره مفتوح المصدر للباحثين إمكانية إجراء المزيد من الدراسات والأبحاث في هذا المجال. يمكن الوصول إلى الورقة البحثية، وكود المصدر، والنموذج نفسه على منصة Hugging Face.

المصدر: MarkTechPost