ميتا تطلق KernelLLM: نموذج لغوي ضخم لتحويل كود بايثورش إلى نواة ترِيتون عالية الكفاءة

ميتا تطلق KernelLLM: ثورة في برمجة معالجات الرسوميات

أعلنت شركة ميتا مؤخراً عن إطلاقها لـ KernelLLM، وهو نموذج لغوي ضخم (LLM) يحتوي على 8 مليارات بارامتر، تم تدريبه بدقة عالية انطلاقاً من نموذج Llama 3.1 Instruct. يهدف هذا النموذج المبتكر إلى أتمتة عملية تحويل وحدات بايثورش (PyTorch modules) إلى نواة ترِيتون (Triton kernels) عالية الكفاءة على معالجات الرسوميات (GPUs). ويسعى هذا المشروع الرائد إلى تسهيل عملية برمجة وحدات معالجة الرسوميات، وتقليل العقبات التي تواجه المطورين في هذا المجال.

لمحة تقنية عن KernelLLM

تم تدريب KernelLLM على حوالي 25,000 مثال مُقترن بوحدات بايثورش ونظيراتها من نواة ترِيتون. تُعرف هذه المجموعة من البيانات باسم KernelBook، وهي تتضمن شيفرات مُفلترة من موقع Stack Overflow بالإضافة إلى عينات مُولدة اصطناعياً باستخدام torch.compile() وغيرها من تقنيات التوجيه. يعتمد النموذج على أسلوب الضبط الخاضع للإشراف (supervised instruction tuning)، باستخدام قوالب توجيه تتضمن أمثلة مُنسقة خلال كل من التدريب والتقييم. وقد تم إجراء التدريب على مدار 10 حقبات، بحجم دفعة (batch size) قدره 32، باستخدام 16 وحدة معالجة رسوميات (GPUs) لما يقارب 12 ساعة (192 ساعة وحدة معالجة رسوميات).

تقييم أداء KernelLLM

تم تقييم أداء KernelLLM باستخدام KernelBench-Triton، وهو مقياس مُصمم لتقييم جودة توليد نواة ترِيتون من وحدات بايثورش. حقق النموذج درجة Pass@1 بلغت 20.2، متفوقاً على نماذج أكبر حجماً مثل GPT-4o (حوالي 200 مليار بارامتر) و DeepSeek V3 (671 مليار بارامتر)، اللتان حققتا درجات 15 و 16 على التوالي. مع إجراء عدة استنتاجات، وصلت درجات Pass@10 و Pass@20 لـ KernelLLM إلى 51.8 و 57.1 على التوالي، مما يدل على أداء قوي في توليد نواة ترِيتون الصحيحة.

الآثار المترتبة على برمجة وحدات معالجة الرسوميات

من خلال أتمتة توليد نواة ترِيتون من وحدات بايثورش، يتمتع KernelLLM بإمكانية تبسيط تطوير التطبيقات المُعجلة بوحدات معالجة الرسوميات. وقد يكون هذا مفيداً بشكل خاص للمطورين الذين يسعون لتحسين الأداء دون الخوض في تعقيدات برمجة النواة يدوياً. كما أن قدرة النموذج على إنتاج نواة فعالة قد تُسهم في استخدام أكثر سهولة وكفاءة لموارد وحدات معالجة الرسوميات، مما قد يُؤثر على مجالات مثل تدريب نماذج التعلم العميق والاستدلال.

اطلع على النموذج على Hugging Face

جميع الحقوق لهذه البحوث تعود إلى الباحثين في هذا المشروع. كما ندعوك لمتابعتنا على تويتر، والانضمام إلى مجتمعنا على ريديت (أكثر من 95 ألف مشترك)، والاشتراك في قائمتنا البريدية.

المصدر: MarkTechPost