نظام التشغيل MemOS: ثورة في إدارة الذاكرة للنماذج اللغوية الضخمة

تُعتبر النماذج اللغوية الضخمة (LLMs) حجر الزاوية في تحقيق الذكاء الاصطناعي العام (AGI)، إلا أنها تواجه قيودًا كبيرة في كيفية التعامل مع الذاكرة. تعتمد معظم النماذج اللغوية الضخمة على معرفة ثابتة مخزنة في أوزانها وسياق قصير الأمد أثناء الاستخدام، مما يجعل من الصعب الاحتفاظ بالمعلومات أو تحديثها بمرور الوقت. تحاول تقنيات مثل استرجاع المعلومات من المصادر الخارجية (RAG) دمج المعرفة الخارجية، لكنها تفتقر إلى إدارة الذاكرة المُهيكلة. يؤدي هذا إلى مشاكل مثل نسيان المحادثات السابقة، وقلة القدرة على التكيف، وعزل الذاكرة عبر المنصات المختلفة. بشكل أساسي، لا تعامل النماذج اللغوية الضخمة الحالية الذاكرة كنظام قابل للإدارة، والديمومة، والمشاركة، مما يحد من فائدتها في العالم الحقيقي.

MemOS: نظام تشغيل يضع الذاكرة في صميم العملية

للتغلب على قيود الذاكرة في النماذج اللغوية الضخمة الحالية، قام باحثون من شركة MemTensor (شنغهاي) للتكنولوجيا المحدودة، وجامعة جياو تونغ في شنغهاي، وجامعة رنمين في الصين، ومعهد أبحاث China Telecom بتطوير MemOS. يجعل هذا نظام التشغيل للذاكرة من الذاكرة موردًا أساسيًا في النماذج اللغوية. يعتمد في جوهره على MemCube، وهو تجريد ذاكرة موحد يدير الذاكرة المعلمية، وذاكرة التنشيط، وذاكرة النص العادي.

مميزات MemOS:

• إدارة ذاكرة مُهيكلة وقابلة للتتبع وعبر المهام: مما يسمح للنماذج بالتكيف باستمرار، واستيعاب تفضيلات المستخدم، والحفاظ على الاتساق السلوكي.
• تحويل النماذج اللغوية الضخمة من مُولدات سلبية إلى أنظمة متطورة: قادرة على التعلم على المدى الطويل والتنسيق بين المنصات.
• التعلم المستمر: يدعم MemOS نموذج ” تدريب الذاكرة” المستمر الذي يمحو الخط الفاصل بين التعلم والاستنتاج.
• الحوكمة والأمن: يركز MemOS على الحوكمة، بما في ذلك إمكانية التتبع، ومراقبة الوصول، والاستخدام الآمن في أنظمة الذكاء الاصطناعي المتطورة.

بنية MemOS:

يتكون MemOS من ثلاث طبقات رئيسية:

1. طبقة الواجهة: تتعامل مع مدخلات المستخدم وتحليلها إلى مهام متعلقة بالذاكرة.
2. طبقة التشغيل: تدير جدولة وتنظيم وتطور أنواع الذاكرة المختلفة.
3. طبقة البنية التحتية: تضمن التخزين الآمن، وحوكمة الوصول، والتعاون بين الوكلاء.

جميع التفاعلات داخل النظام تتم عبر MemCubes، مما يسمح بعمليات ذاكرة قابلة للتتبع وقائمة على السياسات. من خلال وحدات مثل MemScheduler، و MemLifecycle، و MemGovernance، يحافظ MemOS على حلقة ذاكرة مستمرة وقابلة للتكيف – من لحظة إرسال المستخدم لموجه، إلى حقن الذاكرة أثناء الاستدلال، إلى تخزين البيانات المفيدة للاستخدام في المستقبل. لا يُعزز هذا التصميم استجابة النموذج وتخصيصه فحسب، بل يضمن أيضًا أن تظل الذاكرة مُهيكلة وآمنة وقابلة لإعادة الاستخدام.

أنواع الذاكرة في MemOS:

ينظم MemOS الذاكرة إلى ثلاثة أنواع مميزة:

1. الذاكرة المعلمية (Parametric Memory): المعرفة المُدمجة في أوزان النموذج من خلال التدريب المسبق أو الضبط الدقيق.
2. ذاكرة التنشيط (Activation Memory): الحالات الداخلية المؤقتة، مثل مخابئ المفتاح والقيمة وأنماط الانتباه، المستخدمة أثناء الاستنتاج.
3. ذاكرة النص العادي (Plaintext Memory): البيانات الخارجية القابلة للتحرير والاسترجاع، مثل المستندات أو المطالبات.

تتفاعل هذه الأنواع من الذاكرة ضمن إطار موحد يسمى MemoryCube (MemCube)، والذي يُغلف كل من المحتوى والبيانات الوصفية، مما يسمح بالجدولة الديناميكية، وإصدار الإصدارات، ومراقبة الوصول، والتحويل بين الأنواع. يُمكّن هذا النظام المُهيكل النماذج اللغوية الضخمة من التكيف، واستدعاء المعلومات ذات الصلة، وتطوير قدراتها بكفاءة، مما يحولها إلى أكثر من مجرد مُولدات ثابتة.

المستقبل:

تشمل الأهداف المستقبلية تمكين مشاركة الذاكرة بين النماذج، وكتل الذاكرة ذاتية التطور، وإنشاء سوق ذاكرة لامركزي لدعم التعلم المستمر والتطور الذكي.

ملاحظة: جميع الحقوق تعود إلى الباحثين الذين قاموا بهذا البحث.

المصدر: MarkTechPost