إطلاق NVIDIA لإطار عمل Audio-SDS: توليد وتفكيك الصوت بتقنية الانتشار دون الحاجة إلى بيانات خاصة

يُقدّم هذا المقال شرحًا مفصلاً لإطار عمل Audio-SDS الجديد من NVIDIA، وهو إطار عمل متطور قائم على تقنية انتشار البيانات (Diffusion Models) يُمكّن من توليد الصوت وتفكيكه بدقة عالية بناءً على مطالبات نصية، دون الحاجة إلى تدريب نماذج على مجموعات بيانات ضخمة خاصة بكل مهمة.

ثورة في توليد وتفكيك الصوت

حققت نماذج انتشار الصوت تقدماً ملحوظاً في توليد أصوات عالية الجودة، سواءً كانت كلاماً أو موسيقى أو مؤثرات صوتية. لكنها غالباً ما تتميز بقدرتها على توليد عينات صوتية جديدة أكثر من قدرتها على ضبط المعلمات. مهام مثل توليد أصوات الاصطدامات الواقعية أو فصل مصادر الصوت بناءً على مطالبات نصية تتطلب نماذج قادرة على ضبط معلمات واضحة وقابلة للتفسير ضمن قيود هيكلية محددة.

تقنية Score Distillation Sampling (SDS) في عالم الصوت

لم يتم تطبيق تقنية Score Distillation Sampling (SDS) – التي تُستخدم في تحرير الصور ثلاثية الأبعاد والنصوص من خلال الانتشار العكسي عبر نماذج مُدرّبة مسبقاً – على الصوت سابقاً. يُمكن تكييف SDS مع نماذج انتشار الصوت لتُحسّن من تمثيل الصوت المعلمي دون الحاجة إلى تجميع مجموعات بيانات ضخمة خاصة بالمهمة، مما يُربط بين النماذج التوليدية الحديثة وعمليات توليد الصوت المعلمية.

دمج التقنيات الكلاسيكية مع تقنيات الذكاء الاصطناعي

تُوفر التقنيات الكلاسيكية لمعالجة الصوت، مثل توليد الترددات التوافقية (FM Synthesis) التي تستخدم مُذبذبات مُعدّلة للعمليات لإنشاء نغمات غنية، ومُحاكيات أصوات الاصطدامات الواقعية، مساحات معلمات مُدمجة وقابلة للتفسير. وبالمثل، تطورت تقنيات فصل مصادر الصوت من تحليل المصفوفات إلى طرق عصبية ومرشدة نصياً لعزل مكونات مثل الأصوات الغنائية أو الآلات الموسيقية.

Audio-SDS: الإطار الجديد من NVIDIA وMIT

يُقدّم باحثون من NVIDIA ومعهد ماساتشوستس للتكنولوجيا (MIT) إطار عمل Audio-SDS، وهو امتداد لتقنية SDS لنماذج انتشار الصوت المُشروطة نصياً. يستخدم Audio-SDS نموذجاً واحداً مُدرّباً مسبقاً لأداء مهام صوتية متنوعة دون الحاجة إلى مجموعات بيانات خاصة. يُسهّل تقطير المعلومات التوليدية المُسبقة في تمثيل الصوت المعلمي مهام مثل محاكاة أصوات الاصطدامات، ومعايرة معلمات توليد الترددات التوافقية، وفصل مصادر الصوت. يُجمع الإطار بين المعلومات المُستقاة من البيانات والتحكم المعلمي الواضح، مما يُنتج نتائج مُقنعة من الناحية الإدراكية.

تحسينات رئيسية في Audio-SDS

تتضمن التحسينات الرئيسية في Audio-SDS:

• فك تشفير مستقر قائم على SDS: يُحسّن من استقرار عملية فك التشفير.
• إزالة الضوضاء متعددة الخطوات: يُحسّن من استقرار العملية و دقة النتائج.
• نهج طيف متعدد المقاييس: يُحسّن من تفاصيل الترددات العالية وواقعية الصوت.

النتائج والتطبيقات

أظهرت التجارب فعالية إطار عمل Audio-SDS في ثلاث مهام: توليد الترددات التوافقية، توليد أصوات الاصطدامات، وفصل مصادر الصوت. استُخدمت مقاييس موضوعية، مثل درجة CLAP، والمسافة عن القيمة الحقيقية، ونسبة الإشارة إلى التشويش (SDR)، بالإضافة إلى اختبارات استماع موضوعية لتقييم الأداء. أظهرت النتائج تحسينات كبيرة في توليد الصوت وفصله، مع تطابق واضح مع المطالبات النصية.

التحديات والخلاصة

على الرغم من وجود بعض التحديات، مثل تغطية النموذج، وظهور مشاكل في ترميز البيانات الكامنة، وحساسية التحسين، إلا أن Audio-SDS يُظهر إمكانات أساليب التقطير القائمة على البيانات في البحث متعدد الوسائط، خاصة في المهام المتعلقة بالصوت. يُمثّل Audio-SDS خطوة كبيرة نحو توحيد التمثيلات المُستقاة من البيانات مع التمثيلات المُحددة من قبل المستخدم، مما يُزيل الحاجة إلى مجموعات بيانات ضخمة خاصة بكل مجال.

روابط إضافية

يمكنكم الاطلاع على الورقة البحثية وصفحة المشروع للحصول على المزيد من المعلومات.

المصدر: MarkTechPost