نموذج ميترا: ثورة جديدة في تعلم الآلة للبيانات الجدولية

نموذج ميترا: ثورة في تعلم الآلة للبيانات الجدولية

قدم باحثو أمازون نموذج ميترا (Mitra)، وهو نموذج أساسي متطور مصمم خصيصًا للبيانات الجدولية. على عكس الأساليب التقليدية التي تُعدّل نموذجًا مخصصًا لكل مجموعة بيانات، يستخدم ميترا قوة التعلم ضمن السياق (ICL) والتعلم المسبق باستخدام بيانات اصطناعية، محققًا أداءً متقدمًا في معايير تعلم الآلة للبيانات الجدولية. متكامل مع AutoGluon 1.4، صُمّم ميترا للتعميم بقوة، مما يُحدث تحولًا جذريًا للمختصين الذين يعملون مع البيانات المنظمة في مجالات مثل الرعاية الصحية، والتمويل، والتجارة الإلكترونية، والعلوم.

الأساس: التعلم من البيانات الاصطناعية الأولية

يختلف ميترا عن المعتاد من خلال تدريبه المسبق حصريًا على البيانات الاصطناعية. بدلاً من الاعتماد على الطبيعة المحدودة والمتباينة لمجموعات البيانات الجدولية في العالم الحقيقي، ابتكر باحثو أمازون استراتيجية مدروسة لتوليد ودمج أولويات اصطناعية متنوعة. يستلهم هذا النهج من طريقة تدريب نماذج اللغات الكبيرة على مجموعات نصية ضخمة ومتنوعة.

المكونات الرئيسية للتدريب المسبق الاصطناعي لميترا:

• مزيج من الأولويات: يتم إنشاء مجموعات البيانات الاصطناعية من مجموعة متنوعة من التوزيعات الأولية، بما في ذلك النماذج السببية البنيوية وخوارزميات الأشجار (مثل غابات عشوائية وتعزيز التدرج).
• التعميم: تضمن تنوع وجودة هذه الأولويات أن يتعلم ميترا أنماطًا قابلة للتطبيق عبر العديد من مجموعات البيانات في العالم الحقيقي غير المتوقعة.
• بنية المهمة: أثناء التدريب المسبق، تتضمن كل مهمة اصطناعية مجموعة دعم ومجموعة استعلام – مما يسمح لميترا بالتكيف مع المهام الجديدة عبر التعلم ضمن السياق، دون الحاجة إلى تحديث المعلمات لكل جدول جديد.

التعلم ضمن السياق والضبط الدقيق: التكيف بدون نماذج جديدة

تتطلب طرق تعلم الآلة الجدولية التقليدية مثل XGBoost وغابات عشوائية نموذجًا جديدًا لكل مهمة أو توزيع بيانات. على النقيض من ذلك، يستخدم ميترا التعلم ضمن السياق: نظرًا لعدد صغير من الأمثلة المسمّاة (مجموعة الدعم)، يمكن لميترا إجراء تنبؤات دقيقة على بيانات جديدة غير مرئية (مجموعة الاستعلام) للتصنيف أو الانحدار، مع التكيف مع كل سيناريو دون إعادة تدريب. بالنسبة للمستخدمين الذين يحتاجون إلى مزيد من التكيف، يتم دعم الضبط الدقيق أيضًا، مما يسمح بتخصيص النموذج لمهام محددة عند الحاجة.

ابتكارات في الهندسة المعمارية

يستخدم ميترا آلية انتباه ثنائية الأبعاد عبر الصفوف والخصائص، مما يعكس أو يوسّع التطورات المعمارية الرائدة التي ابتكرتها المحولات، ولكنها متخصصة في البيانات الجدولية. هذا يسمح للنموذج بـ:

• معالجة أحجام الجداول وأنواع الخصائص المتغيرة.
• التقاط التفاعلات المعقدة بين أعمدة الجداول والسجلات.
• دعم البيانات غير المتجانسة بشكل أصلي، وهو تحدٍ رئيسي في تعلم الآلة الجدولية.

أداء المعايير والنقاط القوية العملية

يحقق ميترا نتائج متقدمة في العديد من معايير البيانات الجدولية الرئيسية:

• TabRepo
• TabZilla
• معيار AutoML (AMLB)
• TabArena

تكون نقاط قوته واضحة بشكل خاص في مجموعات البيانات الصغيرة إلى المتوسطة (أقل من 5000 عينة، أقل من 100 خاصية)، حيث يقدم نتائج رائدة في مشاكل التصنيف والانحدار على حد سواء. تجدر الإشارة إلى أن ميترا يتفوق على الأساسيات القوية مثل TabPFNv2 و TabICL و CatBoost و الإصدارات السابقة من AutoGluon.

سهولة الاستخدام

• متوفر في AutoGluon 1.4: ميترا مفتوح المصدر، مع نماذج جاهزة للتكامل السلس في خطوط أنابيب تعلم الآلة الحالية.
• يعمل على وحدة معالجة الرسومات (GPU) ووحدة المعالجة المركزية (CPU): مُحسّن للتنوع في بيئات النشر.
• الأوزان مُشاركة على Hugging Face: مفتوح المصدر لكل من حالات استخدام التصنيف والانحدار.

الآثار والتوجهات المستقبلية

من خلال التعلم من مزيج مدروس بعناية من الأولويات الاصطناعية، يجلب ميترا قابلية تعميم نماذج الأساس الكبيرة إلى المجال الجدولي. وهو مُعدّ لتسريع البحث وعلوم البيانات التطبيقية من خلال:

• تقليل وقت الحل: لا حاجة لإنشاء وضبط نماذج فريدة لكل مهمة.
• تمكين النقل بين المجالات: الدروس المستفادة من المهام الاصطناعية تُنقل على نطاق واسع.
• تعزيز المزيد من الابتكار: تفتح منهجية الأولويات الاصطناعية الطريق أمام نماذج أساس جدولية أكثر ثراءً وتكيفًا في المستقبل.

البدء

سيتميز AutoGluon 1.4 قريبًا بميترا للاستخدام الجاهز. يتم توفير أوزان ومستندات مفتوحة المصدر لكل من مهام التصنيف والانحدار. يُشجّع الباحثون والممارسون على التجربة والبناء على هذا الأساس الجديد للتنبؤ الجدولي.

المصدر: MarkTechPost