ريفرَاج: ثورة في معالجة النصوص الطويلة عبر تقنية استرجاع المعلومات المعززة

يُعَدّ الوصول إلى سياقات أطول أحد التحديات الرئيسية في نماذج اللغات الكبيرة (LLMs). لكن فريقًا من الباحثين من مختبرات ميتا للذكاء الفائق، وجامعة سنغافورة الوطنية، وجامعة رايس، قدّموا إطارًا جديدًا يُسمى “ريفرَاج” (REFRAG اختصارًا لـ REpresentation For RAG) يُغيّر قواعد اللعبة في هذا المجال. يُتيح ريفرَاج توسيع نافذة سياق نماذج اللغات الكبيرة بمقدار 16 ضعفًا، ويُحقق تسريعًا يصل إلى 30.85 ضعفًا في زمن الحصول على الرمز الأول (TTFT) دون المساومة على الدقة.

لماذا تُشكّل السياقات الطويلة عائقًا أمام نماذج اللغات الكبيرة؟

تتناسب آلية الانتباه في نماذج اللغات الكبيرة بشكل تربيعي مع طول المدخلات. بمعنى آخر، إذا زاد طول المستند بمقدار الضعف، فإن تكلفة الحوسبة والذاكرة قد تزيد بمقدار أربعة أضعاف. لا يؤدي هذا إلى إبطاء الاستدلال فحسب، بل يُزيد أيضًا من حجم ذاكرة التخزين المؤقت للمفتاح والقيمة (KV cache)، مما يجعل تطبيقات السياقات الطويلة غير عملية في الأنظمة الإنتاجية. وفي إعدادات استرجاع المعلومات المعززة (RAG)، تساهم معظم المقاطع المسترجعة مساهمة ضئيلة في الإجابة النهائية، لكن النموذج لا يزال يدفع الثمن التربيعي الكامل لمعالجتها.

كيف يُضغِط ريفرَاج ويُختصر السياق؟

يُقدم ريفرَاج مُشفّرًا خفيف الوزن يُقسم المقاطع المسترجعة إلى أجزاء ذات حجم ثابت (مثل 16 رمزًا) ويُضغط كل جزء إلى تمثيل مضغوط كثيف. بدلاً من إدخال آلاف الرموز الخام، يُعالج المُشفّر هذه التسلسلات الأقصر من التمثيلات المضغوطة. النتيجة هي تقليل طول التسلسل بمقدار 16 ضعفًا، دون أي تغيير في بنية نموذج اللغة الكبير.

كيف يُحقق ريفرَاج التسريع؟

بإختصار تسلسل إدخال المُشفّر، يُقلل ريفرَاج من حساب الانتباه التربيعي ويُصغّر ذاكرة التخزين المؤقت للمفتاح والقيمة. تُظهر النتائج التجريبية تسريعًا في زمن الحصول على الرمز الأول (TTFT) بمقدار 16.53 ضعفًا عند k=16 و 30.85 ضعفًا عند k=32، متجاوزًا بكثير تقنيات الحالة الفنية السابقة مثل CEPE (التي حققت تسريعًا من 2 إلى 8 أضعاف فقط). كما تتحسن الإنتاجية أيضًا بمقدار يصل إلى 6.78 ضعفًا مقارنةً بمعايير LLaMA.

كيف يُحافظ ريفرَاج على الدقة؟

تُشرف سياسة تعلم التعزيز (RL) على عملية الضغط. فهي تحدد الأجزاء الأكثر كثافةً للمعلومات وتسمح لها بتجاوز عملية الضغط، حيث يتم تغذية الرموز الخام مباشرةً إلى المُشفّر. تضمن هذه الإستراتيجية الانتقائية عدم فقدان التفاصيل المهمة، مثل الأرقام الدقيقة أو الكيانات النادرة. في العديد من المعايير، حافظ ريفرَاج على مستوى تعقيد (Perplexity) مماثل أو أفضل من CEPE مع انخفاض زمن الانتظار بشكل كبير.

ما الذي تكشفه التجارب؟

تم تدريب ريفرَاج مسبقًا على 20 مليار رمز من مجموعة بيانات SlimPajama (كتب + أرشيف arXiv) وتم اختباره على مجموعات بيانات السياقات الطويلة، بما في ذلك Book، وArxiv، وPG19، وProofPile. في معايير استرجاع المعلومات المعززة (RAG)، ومهام المحادثة متعددة الأدوار، وملخصات المستندات الطويلة، تفوق ريفرَاج باستمرار معايير قوية أخرى:

• توسيع السياق بمقدار 16 ضعفًا مقارنةً بـ LLaMA-2 القياسي (4000 رمز).
• تحسين مستوى التعقيد بنسبة 9.3% تقريبًا مقارنةً بـ CEPE عبر أربع مجموعات بيانات.
• دقة أفضل في إعدادات استرجاع المعلومات الضعيفة، حيث تُهيمن المقاطع غير ذات الصلة، وذلك بفضل القدرة على معالجة المزيد من المقاطع في نفس ميزانية زمن الانتظار.

ملخص

يُظهر ريفرَاج أنه ليس من الضروري أن تكون نماذج اللغات الكبيرة ذات السياقات الطويلة بطيئة أو تستهلك كميات كبيرة من الذاكرة. من خلال ضغط المقاطع المسترجعة إلى تمثيلات مضغوطة، وتوسيع المقاطع المهمة فقط بشكل انتقائي، وإعادة التفكير في كيفية عمل فك تشفير استرجاع المعلومات المعززة، جعلت مختبرات ميتا للذكاء الفائق من الممكن معالجة مدخلات أكبر بكثير مع تشغيل أسرع بكثير. يجعل هذا تطبيقات السياقات الطويلة، مثل تحليل التقارير الكاملة، ومعالجة المحادثات متعددة الأدوار، أو توسيع نطاق أنظمة استرجاع المعلومات المعززة في المؤسسات، ليس ممكنًا فحسب، بل فعالًا أيضًا، دون المساومة على الدقة.

أسئلة شائعة

س1. ما هو ريفرَاج؟

ريفرَاج (REFRAG) هو إطار عمل لفك التشفير من مختبرات ميتا للذكاء الفائق يُضغط المقاطع المسترجعة إلى تمثيلات مضغوطة، مما يُمكّن من الاستدلال الأسرع مع سياقات أطول في نماذج اللغات الكبيرة.

س2. ما مدى سرعة ريفرَاج مقارنةً بالطرق الحالية؟

يُوفر ريفرَاج سرعة تصل إلى 30.85 ضعفًا في زمن الحصول على الرمز الأول (TTFT) وتحسينًا في الإنتاجية بمقدار 6.78 ضعفًا مقارنةً بمعايير LLaMA، مع تفوقه على CEPE.

س3. هل يُقلل الضغط من الدقة؟

لا. تُضمن سياسة تعلم التعزيز بقاء الأجزاء المهمة غير مضغوطة، مما يحافظ على التفاصيل الرئيسية. في العديد من المعايير، حافظ ريفرَاج على دقة مماثلة أو أفضل من الطرق السابقة.

س4. أين ستتوفر الشفرة؟

ستُطلق مختبرات ميتا للذكاء الفائق ريفرَاج على جيثب على الصفحة facebookresearch/refrag

المصدر: MarkTechPost