نماذج توليدية قابلة للتطوير بدون بيانات: ميتا تُطلق تقنية “أدجونت سامبلينغ”

نماذج توليدية قابلة للتطوير بدون بيانات: ميتا تُطلق تقنية “أدجونت سامبلينغ”

تعتمد النماذج التوليدية تقليديًا على مجموعات بيانات ضخمة وعالية الجودة لإنتاج عينات تُقلد توزيع البيانات الأساسي. ومع ذلك، في مجالات مثل نمذجة الجزيئات أو الاستدلال القائم على الفيزياء، قد يكون الحصول على مثل هذه البيانات غير ممكن عمليًا أو حتى مستحيلًا. وبدلاً من البيانات المُعلّمة، تتوافر فقط مكافأة قياسية – تُشتق عادةً من دالة طاقة مُعقدة – لتقييم جودة العينات المُولّدة. وهذا يمثل تحديًا كبيرًا: كيف يمكن تدريب النماذج التوليدية بكفاءة بدون إشراف مباشر من البيانات؟

ميتا تقدم “أدجونت سامبلينغ”: خوارزمية تعلم جديدة تعتمد على المكافآت القياسية

تُعالج ميتا هذا التحدي من خلال “أدجونت سامبلينغ” (Adjoint Sampling)، وهي خوارزمية تعلم جديدة مصممة لتدريب النماذج التوليدية باستخدام إشارات مكافأة قياسية فقط. بناءً على الإطار النظري للتحكم الأمثل العشوائي (SOC)، يُعيد “أدجونت سامبلينغ” صياغة عملية التدريب كمهمة تحسين على عملية انتشار مُتحكم بها. وعلى عكس النماذج التوليدية القياسية، لا يتطلب هذا الأسلوب بيانات صريحة. بدلاً من ذلك، يتعلم توليد عينات عالية الجودة من خلال تحسينها بشكل متكرر باستخدام دالة المكافأة – والتي غالبًا ما تُشتق من نماذج طاقة فيزيائية أو كيميائية.

يمتاز “أدجونت سامبلينغ” بتفوقه في السيناريوهات التي لا تتوافر فيها إلا دالة طاقة غير مُعيارية. فهو ينتج عينات تتوافق مع التوزيع الهدف المُعرّف بواسطة هذه الطاقة، متجاوزًا الحاجة إلى أساليب تصحيحية مثل أخذ العينات حسب الأهمية أو MCMC، والتي تُعد مكثفة من الناحية الحسابية.

التفاصيل التقنية

يستند “أدجونت سامبلينغ” إلى معادلة تفاضلية عشوائية (SDE) تُنمذج كيفية تطور مسارات العينة. تتعلم الخوارزمية انحراف تحكم u(x,t) بحيث تقترب الحالة النهائية لهذه المسارات من التوزيع المطلوب (مثل بولتزمان). ويتمثل أحد الابتكارات الرئيسية في استخدام مطابقة المُرافق المتبادلة (RAM) – وهي دالة خسارة تُمكّن التحديثات القائمة على التدرج باستخدام الحالات الأولية والنهائية لمسارات العينة فقط. وهذا يتجاوز الحاجة إلى النشر العكسي عبر مسار الانتشار بأكمله، مما يحسّن الكفاءة الحسابية بشكل كبير.

من خلال أخذ العينات من عملية أساس معروفة والشرط على الحالات الطرفية، يُنشئ “أدجونت سامبلينغ” مخزنًا مؤقتًا للعينات والتدرجات، مما يسمح بخطوات تحسين متعددة لكل عينة. توفر طريقة التدريب هذه، القائمة على السياسة، قابلية للتطوير تتفوق على الأساليب السابقة، مما يجعلها مناسبة للمشاكل عالية الأبعاد مثل توليد المتصاوغات الجزيئية.

علاوة على ذلك، يدعم “أدجونت سامبلينغ” التناظرات الهندسية وشروط الحدود الدورية، مما يُمكّن النماذج من احترام الثوابت الجزيئية مثل الدوران والترجمة والالتواء. هذه الميزات ضرورية للمهام التوليدية ذات المعنى الفيزيائي في الكيمياء والفيزياء.

رؤى الأداء ونتائج المقاييس

يحقق “أدجونت سامبلينغ” نتائج متقدمة في كل من المهام الاصطناعية وتلك الواقعية. في المقاييس الاصطناعية مثل إمكانات “Double-Well” (DW-4) و”Lennard-Jones” (LJ-13 و LJ-55)، يفوق بشكل كبير الأساليب القياسية مثل DDS و PIS، خاصة في كفاءة الطاقة. فعلى سبيل المثال، حيث تتطلب DDS و PIS 1000 تقييمًا لكل تحديث تدرج، يستخدم “أدجونت سامبلينغ” ثلاثة فقط، مع أداء مماثل أو أفضل في مسافة Wasserstein وحجم العينة الفعال (ESS).

في إطار عملي، تم تقييم الخوارزمية على توليد متصاوغات جزيئية واسعة النطاق باستخدام نموذج طاقة eSEN المُدرّب على مجموعة بيانات SPICE-MACE-OFF. حقق “أدجونت سامبلينغ”، وخاصة متغيره الديكارتي مع التدريب المسبق، دقة تصل إلى 96.4% و متوسط انحراف جذر متوسط المربع (RMSD) يبلغ 0.60 Å، متجاوزًا RDKit ETKDG – وهو أسلوب قياسي مستخدم على نطاق واسع في الكيمياء – عبر جميع المقاييس. تعمم الطريقة بشكل جيد على مجموعة بيانات GEOM-DRUGS، مُظهرة تحسينات كبيرة في الدقة مع الحفاظ على دقة تنافسية. تؤدي قدرة الخوارزمية على استكشاف مساحة التكوين على نطاق واسع، بمساعدة بدء التشغيل العشوائي والتعلم القائم على المكافأة، إلى تنوع أكبر في المتصاوغات – وهو أمر بالغ الأهمية لاكتشاف الأدوية وتصميم الجزيئات.

الخلاصة: مسار قابل للتطوير للموديلات التوليدية المُدارة بالمكافآت

يمثل “أدجونت سامبلينغ” خطوة كبيرة إلى الأمام في النمذجة التوليدية بدون بيانات. من خلال الاستفادة من إشارات مكافأة قياسية وطريقة تدريب فعالة قائمة على السياسة تستند إلى التحكم العشوائي، يُمكّن التدريب القابل للتطوير لأجهزة أخذ العينات القائمة على الانتشار مع الحد الأدنى من تقييمات الطاقة. يُضعه دمج التناظرات الهندسية وقدرته على التعميم عبر الهياكل الجزيئية المتنوعة كأداة أساسية في الكيمياء الحسابية وما بعدها.

يمكنكم الاطلاع على الورقة البحثية، والنموذج على Hugging Face، وصفحة GitHub. جميع الحقوق لهذه الأبحاث تعود إلى الباحثين في هذا المشروع. تابعونا أيضًا على تويتر، وانضموا إلى مجتمعنا الذي يضم أكثر من 95 ألف مشترك في ريديت، واشتركوا في قائمتنا البريدية.

المصدر: MarkTechPost