نموذج VaultGemma: ثورة جوجل في الذكاء الاصطناعي الخاص

قدمَت جوجل مؤخراً نموذج لغتها الكبير VaultGemma 1B، وهو أكبر نموذج مفتوح المصدر مُدرب بالكامل باستخدام الخصوصية التفاضلية (DP). يمثل هذا الإنجاز خطوةً هائلةً نحو بناء نماذج ذكاء اصطناعي قوية وفي نفس الوقت تحافظ على خصوصية البيانات.

لماذا نحتاج إلى الخصوصية التفاضلية في نماذج اللغات الكبيرة؟

تُعاني نماذج اللغات الكبيرة المُدرّبة على مجموعات بيانات ضخمة من هجمات حفظ المعلومات، حيث يمكن استخراج معلومات حساسة أو بيانات شخصية قابلة للتعريف من النموذج. وقد أظهرت الدراسات إمكانية ظهور بيانات التدريب حرفياً، خاصةً في الإصدارات المفتوحة المصدر. توفر الخصوصية التفاضلية ضماناً رياضياً يمنع أي مثال تدريب واحد من التأثير بشكل كبير على النموذج. وعكس الأساليب التي تُطبق الخصوصية التفاضلية فقط أثناء عملية ضبط النموذج الدقيق، يُطبق VaultGemma التدريب الخاص الكامل، مما يضمن حماية الخصوصية منذ البداية. تقرير تقني

بنية نموذج VaultGemma

يشبه VaultGemma من الناحية المعمارية نماذج Gemma السابقة، لكنه مُحسّن للتدريب الخاص. وتتمثل مواصفاته في:

• حجم النموذج: 1 مليار معلمة، 26 طبقة.
• نوع المحوّل: مُشفّر فقط (Decoder-only).
• الوظائف التفعيلية: GeGLU مع بعد تغذية أمامية 13,824.
• الانتباه: انتباه متعدد الاستعلامات (MQA) مع نطاق عالمي يبلغ 1024 رمزاً.
• التطبيع: RMSNorm في تكوين ما قبل التطبيع.
• مُجزّئ الرموز: SentencePiece مع قاموس مُفردات 256 ألف رمز.

ومن أبرز التغييرات هو تقليل طول التسلسل إلى 1024 رمزاً، مما يُقلل من تكاليف الحوسبة ويُمكن استخدام دفعات أكبر تحت قيود الخصوصية التفاضلية.

بيانات التدريب

تم تدريب VaultGemma على نفس مجموعة بيانات الـ 13 تريليون رمز المستخدمة في Gemma 2، والتي تتكون أساساً من نصوص إنجليزية من وثائق الويب، والرموز، والمقالات العلمية. وقد خضعت مجموعة البيانات لعدة مراحل من الترشيح ل:

• إزالة المحتوى غير الآمن أو الحساس.
• تقليل تعرض المعلومات الشخصية.
• منع تلوث بيانات التقييم.

يضمن هذا كلاً من السلامة والإنصاف في معايير القياس.

تطبيق الخصوصية التفاضلية

استخدم VaultGemma تقنية DP-SGD (الهبوط التدريجي العشوائي ذو الخصوصية التفاضلية) مع قصّ التدرجات وإضافة ضوضاء غاوسية. تم بناء التنفيذ على JAX Privacy وأُدخلت عليه تحسينات لتحقيق قابلية التوسع:

• قصّ لكل مثال مُمَحْوَر لتحقيق الكفاءة المتوازية.
• تراكم التدرجات لمحاكاة الدفعات الكبيرة.
• أخذ عينات فرعية من بواسون المقطوع مدمجة في مُحمّل البيانات لأخذ عينات فعّالة أثناء التنفيذ.

حقق النموذج ضماناً رسمياً للخصوصية التفاضلية (ε ≤ 2.0، δ ≤ 1.1e−10) على مستوى التسلسل (1024 رمزاً).

قوانين التوسع للتدريب الخاص

يتطلب تدريب نماذج كبيرة تحت قيود الخصوصية التفاضلية استراتيجيات توسع جديدة. طور فريق VaultGemma قوانين توسع خاصة بالخصوصية التفاضلية مع ثلاثة ابتكارات:

• نمذجة مُثلى لمعدل التعلم باستخدام الملائمات التربيعية عبر عمليات التدريب.
• استقراء بارامتري لقيم الخسارة لتقليل الاعتماد على نقاط التفتيش الوسيطة.
• ملائمات شبه بارامترية للتعميم عبر حجم النموذج، وخطوات التدريب، ونسب الضوضاء/الدفعات.

أمكن لهذه المنهجية التنبؤ الدقيق بالخسارة المُتحققة والاستخدام الفعال للموارد على مجموعة TPUv6e للتدريب.

تكوين التدريب

تم تدريب VaultGemma على 2048 شريحة TPUv6e باستخدام تقسيم GSPMD وتجميع MegaScale XLA.

• حجم الدفعة: ~518 ألف رمز.
• تكرارات التدريب: 100,000.
• معامل الضوضاء: 0.614.

كانت الخسارة المُتحققة ضمن 1% من التوقعات من قانون التوسع الخاص بالخصوصية التفاضلية، مما يُثبت صحة هذا النهج.

أداء VaultGemma مقارنةً بالنماذج غير الخاصة

على معايير القياس الأكاديمية، يتأخر VaultGemma عن نظرائه غير الخاصة، لكنه يُظهر فائدة قوية:

• ARC-C: 26.45 مقابل 38.31 (Gemma-3 1B).
• PIQA: 68.0 مقابل 70.51 (GPT-2 1.5B).
• TriviaQA (5-shot): 11.24 مقابل 39.75 (Gemma-3 1B).

تشير هذه النتائج إلى أن النماذج المُدرّبة بالخصوصية التفاضلية قابلة للمقارنة حالياً مع النماذج غير الخاصة من حوالي خمس سنوات مضت. والأهم من ذلك، أكدت اختبارات حفظ المعلومات عدم وجود تسريب لبيانات التدريب في VaultGemma، على عكس نماذج Gemma غير الخاصة. تقرير تقني

الخلاصة

يُثبت VaultGemma 1B أن نماذج اللغات الكبيرة يمكن تدريبها بضمانات صارمة للخصوصية التفاضلية دون جعلها غير عملية للاستخدام. وبينما لا تزال هناك فجوة في الفائدة مقارنة بنظيراتها غير الخاصة، فإن إصدار كل من النموذج ومنهجية تدريبه يُوفر للمجتمع أساساً قوياً لتطوير الذكاء الاصطناعي الخاص. يُشير هذا العمل إلى تحول نحو بناء نماذج ليست فقط قادرة، بل آمنة وشفافة وتحافظ على الخصوصية بشكل جوهري. يمكنكم الاطلاع على [المقال](رابط المقال)، [النموذج على Hugging Face](رابط Hugging Face)، و[التفاصيل التقنية](رابط التفاصيل التقنية).

المصدر: MarkTechPost