هل يمكن الكشف الآلي عن الهلوسة في نماذج اللغات الكبيرة؟ دراسة نظرية وتطبيقية

تُظهر التطورات الأخيرة في نماذج اللغات الكبيرة (LLMs) تحسينًا كبيرًا في فهم اللغة الطبيعية، والقدرة على الاستنتاج، وإنتاج النصوص. تتفوق هذه النماذج الآن في مهام متنوعة، مثل حل المسائل الرياضية وإنشاء نصوص مناسبة للسياق. ومع ذلك، لا تزال هناك تحديات قائمة، أبرزها ميل نماذج اللغات الكبيرة إلى “الهلوسة” – أي إنتاج استجابات سلسة ولكنها خاطئة من الناحية الواقعية. تُقوّض هذه الهلوسات مصداقية نماذج اللغات الكبيرة، خاصةً في المجالات ذات المخاطر العالية، مما يثير حاجة ماسة لآليات كشف فعالة.

تحديات الكشف عن الهلوسة في نماذج اللغات الكبيرة

على الرغم من أن استخدام نماذج اللغات الكبيرة نفسها للكشف عن الهلوسة يبدو واعدًا، إلا أن الأدلة التجريبية تشير إلى أنها تفتقر إلى الدقة مقارنة بالحكم البشري، وعادةً ما تتطلب ملاحظات خارجية مُعلّمة لتحسين أدائها. يُثير هذا تساؤلاً أساسياً: هل مهمة الكشف الآلي عن الهلوسة صعبة بطبيعتها، أم أنها قد تصبح أكثر جدوى مع تحسن النماذج؟

سعت الدراسات النظرية والتطبيقية للإجابة على هذا السؤال. بناءً على أطر نظرية التعلم الكلاسيكية مثل نموذج غولد-أنجلوين، وتعديلاتها الحديثة على توليد اللغة، حلل الباحثون ما إذا كان من الممكن تحقيق توليد موثوق وذو تمثيلية تحت قيود مختلفة. سلّطت بعض الدراسات الضوء على التعقيد الجوهري للكشف عن الهلوسة، وربطته بقيود في بنى النماذج، مثل صعوبة محولات الانتباه في تكوين الدوال على نطاق واسع.

من الناحية التجريبية، تقيم طرق مثل SelfCheckGPT اتساق الاستجابات، بينما تستفيد طرق أخرى من حالات النموذج الداخلية والتعلم الخاضع للإشراف لتمييز المحتوى المُهلوس. على الرغم من أن النهج الخاضع للإشراف باستخدام البيانات المُعلّمة يحسّن الكشف بشكل كبير، إلا أن كاشفات نماذج اللغات الكبيرة الحالية لا تزال تعاني من نقص التوجيه الخارجي القوي. تشير هذه النتائج إلى أنه بينما يتم إحراز تقدم، قد تواجه عملية الكشف الآلي عن الهلوسة حواجز نظرية وعملية جوهرية.

دراسة جامعة ييل: إطار نظري جديد

قدّم باحثون في جامعة ييل إطارًا نظريًا لتقييم ما إذا كان من الممكن الكشف عن الهلوسة في مخرجات نماذج اللغات الكبيرة تلقائيًا. استنادًا إلى نموذج غولد-أنجلوين لتحديد اللغة، أظهروا أن كشف الهلوسة يُعادل تحديد ما إذا كانت مخرجات نموذج اللغة الكبير تنتمي إلى لغة صحيحة K. وجدوا أن الكشف يكون مستحيلًا جوهريًا عند استخدام أمثلة صحيحة (إيجابية) فقط أثناء التدريب. ومع ذلك، عندما يتم تضمين أمثلة سلبية – أي حالات الهلوسة المُعلّمة صراحةً – يصبح الكشف ممكنًا. يُبرز هذا ضرورة الملاحظات المُعلّمة من قبل الخبراء، ويدعم أساليب مثل التعلم المعزز مع الملاحظات البشرية لتحسين مصداقية نماذج اللغات الكبيرة.

منهجية الدراسة والنتائج الرئيسية

تبدأ هذه الدراسة بإظهار أن أي خوارزمية قادرة على تحديد لغة في النهاية يمكن تحويلها إلى خوارزمية تكشف عن الهلوسة في النهاية. يتضمن ذلك استخدام خوارزمية تحديد اللغة لمقارنة مخرجات نموذج اللغة الكبير بلغة معروفة بمرور الوقت. إذا ظهرت تباينات، يتم الكشف عن الهلوسة. على العكس من ذلك، يثبت الجزء الثاني أن تحديد اللغة ليس أصعب من كشف الهلوسة. من خلال دمج طريقة للتحقق من الاتساق مع كاشف للهلوسة، تحدد الخوارزمية اللغة الصحيحة باستبعاد المرشحين غير المتسقين أو المُهلوسين، واختيار أصغر لغة متسقة وغير مُهلوسة في النهاية.

حددت الدراسة نموذجًا رسميًا يتفاعل فيه المتعلم مع خصم للكشف عن الهلوسة – أي العبارات خارج اللغة الهدف – بناءً على أمثلة متسلسلة. كل لغة هدف هي مجموعة فرعية من مجال قابل للعد، ويرصد المتعلم العناصر بمرور الوقت أثناء الاستعلام عن مجموعة مرشحة للانتماء. تُظهر النتيجة الرئيسية أن كشف الهلوسة في النهاية صعب مثل تحديد اللغة الصحيحة، وهو ما يتوافق مع وصف أنجلوين. ومع ذلك، إذا تلقى المتعلم أيضًا أمثلة مُعلّمة تشير إلى ما إذا كانت العناصر تنتمي إلى اللغة، يصبح كشف الهلوسة قابلاً للتحقيق عالميًا لأي مجموعة قابلة للعد من اللغات.

الخلاصة والتوجهات المستقبلية

في الختام، تقدم الدراسة إطارًا نظريًا لتحليل جدوى الكشف الآلي عن الهلوسة في نماذج اللغات الكبيرة. يُثبت الباحثون أن كشف الهلوسة يُعادل مشكلة تحديد اللغة الكلاسيكية، والتي تكون عادةً غير قابلة للتحقيق عند استخدام أمثلة صحيحة فقط. ومع ذلك، يُظهرون أن دمج الأمثلة الخاطئة المُعلّمة (السلبية) يجعل كشف الهلوسة ممكنًا عبر جميع اللغات القابلة للعد. يُبرز هذا أهمية الملاحظات من الخبراء، مثل التعلم المعزز مع الملاحظات البشرية، في تحسين مصداقية نماذج اللغات الكبيرة. تشمل الاتجاهات المستقبلية تحديد الكمية اللازمة من البيانات السلبية، ومعالجة العلامات الضبابية، واستكشاف أهداف كشف مُرخّاة بناءً على عتبات كثافة الهلوسة.

المصدر: MarkTechPost