إطار عمل CATransformers من ميتا: نحو الذكاء الاصطناعي المستدام

مع تزايد اعتماد أنظمة التعلم الآلي في مختلف التطبيقات، من محركات التوصية إلى الأنظمة الذاتية، برزت الحاجة الملحة لمعالجة أثرها البيئي. تستهلك هذه الأنظمة موارد حاسوبية ضخمة، غالباً ما تعمل على مُسرّعات أجهزة مُصممة خصيصاً، مما يؤدي إلى استهلاك طاقة كبير أثناء مراحل التدريب والاستنتاج، مُساهماً في انبعاثات الكربون التشغيلية. إضافة إلى ذلك، تحمل الأجهزة التي تُشغّل هذه النماذج عبئها البيئي، المُسمى الكربون المُجسّد، الناتج عن التصنيع والمواد وعمليات دورة الحياة. وتُعدّ معالجة هذين المصدرين للكربون أمراً بالغ الأهمية للحد من التأثير البيئي لتقنيات التعلم الآلي، خاصةً مع تسارع وتيرة تبنيها عالمياً عبر مختلف الصناعات وحالات الاستخدام.

تحديات معالجة انبعاثات الكربون في أنظمة التعلم الآلي

على الرغم من الوعي المتزايد، لا تزال الاستراتيجيات الحالية للتخفيف من أثر الكربون لأنظمة التعلم الآلي مُجزّأة. تركّز معظم الأساليب على الكفاءة التشغيلية، وخفض استهلاك الطاقة أثناء التدريب والاستنتاج، أو تحسين استخدام الأجهزة. إلا أن القليل من هذه الأساليب يأخذ بعين الاعتبار جانبي المعادلة: الكربون المُنبعث أثناء تشغيل الجهاز والكربون المُجسّد في تصميم الجهاز وعملياته التصنيعية. يُغفل هذا المنظور المُجزّأ كيف تؤثر القرارات المُتخذة في مرحلة تصميم النموذج على كفاءة الجهاز، والعكس صحيح. وتُفاقم النماذج متعددة الوسائط، التي تُدمج البيانات المرئية والنصية، هذه المشكلة بسبب متطلباتها الحسابية المعقدة والمتنوعة بطبيعتها.

CATransformers: نهج مُتكامل لخفض انبعاثات الكربون

طوّر باحثون من قسم الذكاء الاصطناعي في ميتا (FAIR) ومعهد جورجيا للتكنولوجيا إطار عمل CATransformers، الذي يُدخِل الكربون كمعيار أساسي للتصميم. تتيح هذه الابتكارة للباحثين مُشاركة تحسين بنى نماذج الجهاز والمسرّعات من خلال تقييم أدائها مُشتركاً مقابل مقاييس الكربون. يستهدف الحل الأجهزة للاستنتاج على الحافة، حيث يجب التحكم في الانبعاثات المُجسّدة والتشغيلية بسبب قيود الأجهزة.

على عكس الأساليب التقليدية، يُمكّن CATransformers من استكشاف مساحة التصميم المُبكرة باستخدام محرك تحسين بايزي متعدد الأهداف يُقيّم التبادلات بين زمن الوصول، واستهلاك الطاقة، والدقة، والبصمة الكربونية الإجمالية. يُتيح هذا الاعتبار المزدوج تكوينات نماذج تُقلل الانبعاثات دون التضحية بجودة النماذج أو استجابتها، مُقدّماً خطوة هامة نحو أنظمة ذكاء اصطناعي مُستدامة.

بنية إطار عمل CATransformers

تكمُن الوظيفة الأساسية لـ CATransformers في بنيته المُكوّنة من ثلاثة وحدات:

• محسّن متعدد الأهداف: يُحسّن النموذج من حيث الدقة، زمن الوصول، استهلاك الطاقة، والانبعاثات الكربونية.
• مُقيّم نموذج التعلم الآلي: يُولّد مُختلف أنواع النماذج من خلال تقليم نموذج CLIP الأساسي الكبير، مُغيّراً الأبعاد مثل عدد الطبقات، وحجم شبكة التغذية الأمامية، ورؤوس الانتباه، وعرض التضمين.
• مُقدّر الأجهزة: يستخدم أدوات التوصيف لتقدير زمن الوصول، واستهلاك الطاقة، وانبعاثات الكربون الإجمالية لكل تكوين.

يُتيح هذا الهيكل التقييم السريع للترابطات بين تصميم النموذج ونشر الجهاز، مُقدّماً رؤى دقيقة حول كيفية تأثير الخيارات المعمارية على الانبعاثات الإجمالية ونتائج الأداء.

نتائج CATransformers: عائلة نماذج CarbonCLIP

النتيجة العملية لـ CATransformers هي عائلة نماذج CarbonCLIP، التي تُقدّم مكاسب كبيرة مقارنة بمعايير CLIP الصغيرة الحجم الموجودة.

• CarbonCLIP-S: يُحقق نفس دقة TinyCLIP-39M ولكنه يُقلل انبعاثات الكربون الإجمالية بنسبة 17% ويُحافظ على زمن الوصول أقل من 15 ميلي ثانية.
• CarbonCLIP-XS: يُقدّم دقة أفضل بنسبة 8% من TinyCLIP-8M مع تقليل الانبعاثات بنسبة 3% وضمان بقاء زمن الوصول أقل من 10 ميلي ثانية.

من الجدير بالذكر أنه عند مُقارنة التكوينات المُحسّنة فقط لزمن الوصول، غالباً ما تضاعفت متطلبات الأجهزة، مما أدى إلى زيادة كبيرة في الكربون المُجسّد. على النقيض من ذلك، حققت التكوينات المُحسّنة للكربون وزمن الوصول انخفاضاً بنسبة 19-20% في الانبعاثات الإجمالية مع الحد الأدنى من التبادلات في زمن الوصول. تُبرز هذه النتائج أهمية التصميم المُدرك للكربون المُتكامل.

النقاط الرئيسية

• يُدخِل CATransformers المُشاركة في تحسين أنظمة التعلم الآلي من خلال تقييم انبعاثات الكربون التشغيلية والمُجسّدة.
• يُطبّق الإطار التحسين البايزي متعدد الأهداف، مُدمجاً الدقة، وزمن الوصول، والطاقة، والبصمة الكربونية في عملية البحث.
• تم تطوير عائلة من نماذج CLIP القائمة، CarbonCLIP-S و CarbonCLIP-XS، باستخدام هذه الطريقة.
• يُحقق CarbonCLIP-S انخفاضاً بنسبة 17% في الانبعاثات مقارنةً بـ TinyCLIP-39M، مع دقة مُشابهة و زمن وصول أقل من 15 ميلي ثانية.
• يُقدّم CarbonCLIP-XS دقة مُحسّنة بنسبة 8% على TinyCLIP-8M مع تقليل الكربون بنسبة 3% وتحقيق زمن وصول أقل من 10 ميلي ثانية.
• أدّت التصاميم المُحسّنة لزمن الوصول فقط إلى زيادة تصل إلى 2.4 ضعف في الكربون المُجسّد، مُبيّنة خطر تجاهل الاستدامة.
• قدّمت استراتيجيات التحسين المُشتركة تخفيضات في الكربون بنسبة 19-20% مع زيادات طفيفة في زمن الوصول، مُبرهنة على مسار مُتبادل عملي.
• يتضمن الإطار استراتيجيات تقليم، وتقدير الأجهزة، ومُحاكاة معمارية بناءً على قوالب أجهزة حقيقية.

يُمهّد هذا البحث الطريق لأنظمة تعلم آلي مُستدامة من خلال دمج المقاييس البيئية في خط أنابيب التحسين. يُبرز هذا البحث مساراً عملياً نحو بناء أنظمة ذكاء اصطناعي مُسؤولة بيئياً. من خلال مواءمة تصميم النموذج مع إمكانيات الأجهزة منذ البداية وعامل التأثير الكربوني، يُبرهن الباحثون على إمكانية اتخاذ خيارات أكثر ذكاءً لا تقتصر فقط على السعي وراء السرعة أو توفير الطاقة، بل تُقلل الانبعاثات بشكل حقيقي.

المصدر: MarkTechPost