إيرا راج: نظام استرجاع قائم على الرسوم البيانية متعدد الطبقات وقابل للتطوير للبيانات الديناميكية المتنامية

إيرا راج: نظام استرجاع بيانات متطور للبيانات المتنامية

تُحدث نماذج اللغات الكبيرة (LLMs) ثورة في العديد من مجالات معالجة اللغات الطبيعية، لكنها لا تزال تواجه قيودًا حاسمة عند التعامل مع الحقائق المحدثة، أو المعلومات الخاصة بمجال معين، أو الاستدلال متعدد الخطوات المعقد. وتهدف مناهج توليد الاسترجاع المعزز (RAG) إلى معالجة هذه الفجوات من خلال السماح لنماذج اللغات باسترجاع المعلومات ودمجها من مصادر خارجية. ومع ذلك، فإن معظم أنظمة RAG القائمة على الرسوم البيانية الحالية مُحسّنة للهيئات الثابتة، وتواجه صعوبات في الكفاءة والدقة وقابلية التطوير عندما تتزايد البيانات باستمرار – كما هو الحال في خلاصات الأخبار، أو مستودعات البحوث، أو المحتوى عبر الإنترنت الذي يولده المستخدمون.

إيرا راج: تحديثات فعالة للبيانات المتطورة

استجابةً لهذه التحديات، قام باحثون من هواوي، وجامعة هونغ كونغ للعلوم والتكنولوجيا، ووي بنك بتطوير إيرا راج، وهو إطار عمل جديد لتوليد الاسترجاع المعزز مصمم خصيصًا للبيانات الديناميكية والمتنامية باستمرار. وبدلاً من إعادة بناء هيكل الاسترجاع بالكامل عند وصول بيانات جديدة، يعتمد إيرا راج على تحديثات محلية انتقائية لا تمس سوى الأجزاء من رسم بياني الاسترجاع المتأثرة بالتغييرات.

الميزات الأساسية:

• الهاش الحساس للموقع القائم على المستويات الفائقة (LSH): يتم تقسيم كل مجموعة بيانات إلى مقاطع نصية صغيرة يتم تضمينها كمتجهات. ثم يستخدم إيرا راج المستويات الفائقة المُختارة عشوائيًا لعرض هذه المتجهات في رموز هاش ثنائية – وهي عملية تجمع بين المقاطع المتشابهة دلاليًا في نفس “الدلو”. يحافظ هذا النهج القائم على LSH على كل من الاتساق الدلالي والتجميع الفعال.

• بناء رسوم بيانية هرمية متعددة الطبقات: الهيكل الأساسي للاسترجاع في إيرا راج هو رسم بياني متعدد الطبقات. في كل طبقة، يتم تلخيص مقاطع (أو دلاء) النصوص المتشابهة باستخدام نموذج لغة. يتم تقسيم المقاطع الكبيرة جدًا، بينما يتم دمج المقاطع الصغيرة جدًا – مما يضمن كل من الاتساق الدلالي والحبيبية المتوازنة. تسمح التمثيلات المُلخصة في الطبقات العليا باسترجاع فعال لكل من الاستعلامات الدقيقة والعامة.

• التحديثات التزايدية والمحلية: عند وصول بيانات جديدة، يتم دمجها باستخدام المستويات الفائقة الأصلية – مما يضمن الاتساق مع بناء الرسم البياني الأولي. يتم تحديث الدلاء/المقاطع المتأثرة مباشرةً بالإدخالات الجديدة، أو دمجها، أو تقسيمها، أو إعادة تلخيصها، بينما يبقى باقي الرسم البياني دون تغيير. ينتشر التحديث عبر التسلسل الهرمي للرسم البياني، ولكنه يبقى دائمًا محليًا في المنطقة المتأثرة، مما يوفر قدرًا كبيرًا من الحساب وتكاليف الرموز.

• إعادة الإنتاجية والتحديد: على عكس تجميع LSH القياسي، يحافظ إيرا راج على مجموعة المستويات الفائقة المستخدمة أثناء الهاش الأولي. هذا يجعل تعيين الدلو حتميًا وقابلًا للتكرار، وهو أمر بالغ الأهمية للتحديثات المتسقة والفعالة بمرور الوقت.

الأداء والتأثير

تُظهر التجارب الشاملة على مجموعة متنوعة من معايير الإجابة على الأسئلة أن إيرا راج:

• يُقلل من تكاليف التحديث: يحقق ما يصل إلى 95% من تقليل وقت إعادة بناء الرسم البياني واستخدام الرموز مقارنةً بطرق RAG القائمة على الرسوم البيانية الرائدة (مثل GraphRAG، وRAPTOR، وHippoRAG).

• يحافظ على دقة عالية: يتفوق إيرا راج باستمرار على هياكل الاسترجاع الأخرى من حيث الدقة والاستدعاء – عبر مهام الإجابة على الأسئلة الثابتة والمتنامية والمجردة – مع الحد الأدنى من المساومة على جودة الاسترجاع أو قدرات الاستدلال متعدد الخطوات.

• يدعم احتياجات الاستعلامات المتنوعة: يسمح تصميم الرسم البياني متعدد الطبقات لإيرا راج باسترجاع التفاصيل الواقعية الدقيقة أو الملخصات الدلالية عالية المستوى بكفاءة، مع تكييف نمط الاسترجاع مع طبيعة كل استعلام.

الآثار العملية

يقدم إيرا راج إطار عمل استرجاع قابل للتطوير وقوي مثالي للبيئات الواقعية حيث يتم إضافة البيانات باستمرار – مثل الأخبار المباشرة، أو الأرشيفات العلمية، أو المنصات التي يديرها المستخدمون. يحقق توازنًا بين كفاءة الاسترجاع وقابلية التكيف، مما يجعل التطبيقات المدعومة بنماذج اللغات الكبيرة أكثر واقعية واستجابةً وجدارة بالثقة في البيئات سريعة التغير.

المصدر: MarkTechPost