طفرة في الترجمة الآلية: نموذج TOWER+ متعدد اللغات الموحد
يُعَدّ التقدم المحرز في مجال نماذج اللغات الكبيرة (LLMs) محركًا رئيسيًا للتطوير في مجال الترجمة الآلية. فهذه النماذج، المدربة على مجموعات بيانات ضخمة، قادرة على ترجمة عشرات اللغات واللهجات مع مراعاة الفروق اللغوية الدقيقة. لكن، غالبًا ما يؤدي ضبط هذه النماذج لتحسين دقة الترجمة إلى إضعاف قدراتها على اتباع التعليمات وإجراء المحادثات، بينما تكافح النسخ متعددة الأغراض لتحقيق معايير الجودة المهنية. يُمثّل تحقيق التوازن بين الترجمات الدقيقة والواعية ثقافيًا وقدرة النموذج على توليد الشيفرات، وحلّ المشكلات، وتنسيق الإخراج حسب تفضيلات المستخدم، تحديًا كبيرًا. كما يجب على النماذج الحفاظ على الاتساق المصطلحي والالتزام بمبادئ التنسيق عبر مختلف الجماهير المستهدفة. ويحتاج أصحاب المصلحة إلى أنظمة قادرة على التكيف ديناميكيًا مع متطلبات المجال وتفضيلات المستخدم دون التضحية بالسلاسة اللغوية.
تحديات نماذج اللغات الكبيرة في الترجمة
تُبرز معايير الأداء مثل WMT24++ (التي تغطي 55 لغة) و IFEval (التي تتضمن 541 مُؤشرًا لقياس اتباع التعليمات) الفجوة بين جودة الترجمة المتخصصة والقدرة على الاستخدام العام، مما يُشكّل عائقًا رئيسيًا أمام نشر هذه النماذج في المؤسسات.
المقاربات الحالية لتخصيص نماذج اللغات الكبيرة
تم استكشاف العديد من المقاربات لتخصيص نماذج اللغات الكبيرة لتحسين دقة الترجمة، منها:
- ضبط النماذج المدربة مسبقًا: يتم استخدام هذه الطريقة لتحسين دقة وسلاسة النصوص المُترجمة.
- التدريب المُستمر: يُعزز التدريب المُستمر على مزيج من البيانات أحادية اللغة وبيانات الترجمة المتوازية من طلاقة النموذج متعدد اللغات.
- تعزيز التعلم من خلال التغذية الراجعة البشرية: تساعد هذه الطريقة في محاذاة مخرجات النموذج مع تفضيلات الجودة.
وقد أظهرت أنظمة خاصة مثل GPT-4o و Claude 3.7 جودة ترجمة رائدة، بينما حققت التعديلات مفتوحة المصدر مثل TOWER V2 و GEMMA 2 مستوى مماثلًا أو تجاوزت النماذج الخاصة في بعض سيناريوهات اللغات.
تقديم TOWER+ : إطار عمل موحد للترجمة واتباع التعليمات
قدّم باحثون من Unbabel، ومعهد الاتصالات، والمعهد العالي التقني، وجامعة لشبونة (وحدة ELLIS في لشبونة)، ومختبر المعلوماتية والرياضيات التطبيقية في المدرسة المركزية-سوبليك وجامعة باريس ساكلاي، نموذج TOWER+، وهو مجموعة من النماذج مع اختلاف في حجم المعلمات (2 مليار، 9 مليارات، و 72 مليار) لاستكشاف التوازن بين التخصص في الترجمة والقدرة على الاستخدام العام. يهدف هذا النهج إلى تحقيق التوازن الأمثل بين الأداء العالي في الترجمة والقدرات العامة القوية من خلال خط أنابيب تدريب موحد.
خط أنابيب تدريب TOWER+
يتكون خط أنابيب تدريب TOWER+ من أربع مراحل:
- التدريب المُستمر: يعتمد على بيانات مُدققة بعناية تتضمن محتوى أحادي اللغة، وجمل متوازية مُنسقة كتعليمات ترجمة، وعدد قليل من الأمثلة الشبيهة بالتعليمات.
- الضبط المُشرف: يُحسّن هذا النموذج باستخدام مزيج من مهام الترجمة وسيناريوهات متعددة لاتباع التعليمات، بما في ذلك توليد الشيفرات، وحلّ المسائل الرياضية، والإجابة على الأسئلة.
- تحسين التفضيلات: يستخدم هذا التحسين تفضيلات مُوزونة وتحديثات سياسة نسبية للمجموعة مُدرّبة على إشارات خارج السياسة وتغييرات بشرية في الترجمة.
- التعلم المعزز مع مكافآت قابلة للتحقق: يعزز هذا الامتثال الدقيق لمبادئ التحويل، باستخدام عمليات فحص تعتمد على تعبيرات Regex و تعليقات التفضيلات لتحسين قدرة النموذج على اتباع التعليمات الصريحة أثناء الترجمة.
نتائج معايير الأداء
أظهر نموذج TOWER+ 9B معدل فوز بنسبة 33.47٪ في مُؤشرات الدردشة العامة متعددة اللغات، وحصل على درجة XCOMET-XXL قدرها 84.38٪ عبر 24 زوجًا لغويًا، متفوقًا على نظرائه مفتوحة المصدر من نفس الحجم. وحقق النموذج الرئيسي الذي يحتوي على 72 مليار معلمة معدل فوز بنسبة 54.52٪ على M-ArenaHard، ودرجة IFEval قدرها 89.02٪، ووصل إلى مستوى XCOMET-XXL قدره 83.29٪ على معيار WMT24++ الكامل. على معيار الترجمة واتباع التعليمات المُدمج (IF-MT)، حصل على درجة 5.55 للامتثال للتعليمات و 88.95 لدقة الترجمة، محققًا نتائج رائدة بين النماذج مفتوحة المصدر.
أبرز الميزات التقنية لنماذج TOWER+
- تغطي نماذج TOWER+، التي طورتها Unbabel وشركاء أكاديميون، 2 مليار، و 9 مليارات، و 72 مليار معلمة لاستكشاف حدود الأداء بين التخصص في الترجمة والقدرة على الاستخدام العام.
- يدمج خط أنابيب ما بعد التدريب أربع مراحل: التدريب المُستمر (66٪ أحادي اللغة، 33٪ متوازي، و 1٪ تعليمات)، والضبط المُشرف (22.3٪ ترجمة)، وتحسين التفضيلات المُوزونة، والتعلم المعزز القابل للتحقق.
- يغطي التدريب المُستمر 27 لغة ولهجة، بالإضافة إلى 47 زوجًا لغويًا، عبر أكثر من 32 مليار وحدة رمزية.
- تم مقارنة مجموعة TOWER+ مع GPT-4O-1120، و Claude-Sonnet-3.7، و ALMA-R، و GEMMA-2، و LLAMA-3.3، حيث طابقت أو تجاوزت الأداء في المهام المتخصصة والعامة.
الخلاصة: إطار عمل مثالي لتطوير نماذج اللغات الكبيرة المُركزة على الترجمة
باختصار، من خلال توحيد التدريب واسع النطاق مع مراحل الضبط المُتخصصة، يُظهر TOWER+ أن التميز في الترجمة والتنوع في المحادثة يمكن أن يتعايشا في مجموعة واحدة مفتوحة المصدر. تحقق النماذج توازنًا مثاليًا بين دقة الترجمة، واتباع التعليمات، وقدرات الدردشة العامة، مما يُوفر تصميمًا قابلًا للتطوير لتطوير نماذج اللغات الكبيرة الخاصة بالمجالات في المستقبل.
اترك تعليقاً