تحكم دقيق في الإضاءة: ثورة LightLab في تعديل الصور عبر الذكاء الاصطناعي

تحكم دقيق في الإضاءة: ثورة LightLab في تعديل الصور عبر الذكاء الاصطناعي

تُعَدّ معالجة ظروف الإضاءة في الصور بعد التقاطها تحديًا كبيرًا. فأساليب المعالجة التقليدية تعتمد على تقنيات الرسوميات ثلاثية الأبعاد التي تعيد بناء هندسة المشهد وخصائصه من عدة لقطات قبل محاكاة إضاءة جديدة باستخدام نماذج الإضاءة الفيزيائية. وبالرغم من أن هذه التقنيات توفر تحكمًا دقيقًا في مصادر الضوء، إلا أن استعادة نماذج ثلاثية الأبعاد دقيقة من صورة واحدة تبقى مشكلة تؤدي غالبًا إلى نتائج غير مرضية.

ظهور أساليب جديدة تعتمد على الانتشار

ظهرت مؤخرًا أساليب تحرير الصور القائمة على الانتشار كبدائل، حيث تستخدم هذه الأساليب بيانات إحصائية قوية لتجاوز متطلبات النمذجة الفيزيائية. ومع ذلك، تعاني هذه الأساليب من صعوبة التحكم الدقيق في المعلمات نظرًا لطبيعتها العشوائية واعتمادها على التكييف النصي. وقد تم تكييف أساليب تحرير الصور التوليدية لمهام إعادة الإضاءة المختلفة مع نتائج متفاوتة. فعلى سبيل المثال، غالبًا ما تستخدم أساليب إعادة إضاءة الصور الشخصية بيانات منصة الإضاءة للإشراف على النماذج التوليدية، بينما قد تقوم أساليب إعادة إضاءة الأشياء بضبط نماذج الانتشار الدقيق باستخدام مجموعات بيانات اصطناعية مشروطة بخرائط البيئة. وتفترض بعض الأساليب وجود مصدر ضوء سائد واحد للمشاهد الخارجية، مثل الشمس، بينما تُمثّل المشاهد الداخلية تحديات أكثر تعقيدًا متعددة الإضاءة. وتعالج أساليب متنوعة هذه المشكلات، بما في ذلك شبكات العرض العكسي والأساليب التي تتحكم في الفضاء الكامن لـ StyleGAN. وقد أظهرت أبحاث التصوير الفوتوغرافي باستخدام الفلاش تقدمًا في تحرير الإضاءة المتعددة من خلال تقنيات تستخدم أزواجًا من الصور مع/بدون فلاش لفصل وتعديل مكونات الإضاءة في المشهد.

LightLab: ثورة في التحكم الدقيق بمصادر الضوء

اقترح باحثون من جوجل، وجامعة تل أبيب، وجامعة رايخمان، والجامعة العبرية في القدس، خوارزمية LightLab، وهي طريقة تعتمد على الانتشار وتتيح تحكمًا دقيقًا في معلمات مصادر الضوء في الصور. تستهدف هذه الخوارزمية خاصيتين أساسيتين لمصدر الضوء: شدته ولونه. يوفر LightLab تحكمًا في الإضاءة المحيطة وتأثيرات ضبط الألوان، مما يخلق مجموعة شاملة من أدوات التحرير التي تسمح للمستخدمين بتعديل المظهر العام للصورة من خلال ضبط الإضاءة. وقد أظهرت هذه الطريقة فعاليتها في الصور الداخلية التي تحتوي على مصادر ضوء مرئية، على الرغم من أن نتائج إضافية تُظهر وعدًا للمشاهد الخارجية وأمثلة خارج نطاق البيانات المستخدمة في التدريب. يؤكد التحليل المقارن أن LightLab رائدة في تقديم تحكم دقيق وعالي الجودة في مصادر الضوء المحلية المرئية.

آلية عمل LightLab

يستخدم LightLab زوجًا من الصور لنمذجة التغيرات المُتحكم بها في الإضاءة في فضاء الصورة، ثم يقوم بتدريب نموذج انتشار متخصص. تجمع عملية جمع البيانات بين الصور الفوتوغرافية الحقيقية والصور المُولدة اصطناعيًا. تتكون مجموعة البيانات الفوتوغرافية من 600 زوج من الصور الخام التي تم التقاطها باستخدام أجهزة محمولة مثبتة على حوامل ثلاثية القوائم، حيث تُظهر كل زوج مشهدًا متطابقًا يتم فيه تشغيل أو إيقاف مصدر ضوء مرئي فقط. وتضمن إعدادات التعريض التلقائي والمعايرة بعد التقاط الصور تعريضًا صحيحًا. تم توليد مجموعة أكبر من الصور الاصطناعية من 20 مشهدًا داخليًا ثلاثي الأبعاد تم إنشاؤه بواسطة فنانين لزيادة هذه المجموعة باستخدام عرض فيزيائي قائم على المبادئ الفيزيائية في برنامج Blender. يقوم هذا النظام الاصطناعي بعينات عشوائية لمنظورات الكاميرا حول الأهداف، ويُعيّن معلمات مصدر الضوء بشكل إجرائي، بما في ذلك الشدة، ودرجة حرارة اللون، وحجم المنطقة، وزاوية المخروط. يُظهر التحليل المقارن أن استخدام مزيج مرجح من اللقطات الحقيقية والصور المُولدة اصطناعيًا يحقق نتائج مثالية في جميع الإعدادات. التحسين الكمي من إضافة البيانات الاصطناعية إلى اللقطات الحقيقية متواضع نسبيًا (2.2% فقط في PSNR)، ويرجع ذلك على الأرجح إلى أن التغييرات الكبيرة في الإضاءة المحلية تُطغى عليها التفاصيل واسعة النطاق منخفضة التردد في هذه المقاييس. تُظهر المقارنات النوعية على مجموعات البيانات التقييمية تفوق LightLab على الأساليب الأخرى المتنافسة مثل OmniGen و RGB X و ScribbleLight و IC-Light. غالبًا ما تُدخِل هذه البدائل تغييرات غير مرغوب فيها في الإضاءة، أو تشويهًا في الألوان، أو عدم اتساق هندسي. على النقيض من ذلك، يوفر LightLab تحكمًا دقيقًا في مصادر الضوء المستهدفة مع توليد تأثيرات إضاءة فيزيائية واقعية في جميع أنحاء المشهد.

الخلاصة والتحديات المستقبلية

في الختام، قدم الباحثون LightLab، وهو تقدم في مجال معالجة مصادر الضوء القائمة على الانتشار للصور. باستخدام مبادئ خطية الضوء والبيانات ثلاثية الأبعاد الاصطناعية، أنشأ الباحثون صورًا مزدوجة عالية الجودة تُنمذج ضمنيًا تغييرات الإضاءة المعقدة. على الرغم من نقاط قوتها، يواجه LightLab قيودًا ناتجة عن تحيز مجموعة البيانات، خاصة فيما يتعلق بأنواع مصادر الضوء. يمكن معالجة ذلك من خلال التكامل مع أساليب الضبط الدقيق غير المزدوجة. علاوة على ذلك، بينما سهّلت عملية التقاط البيانات البسيطة باستخدام أجهزة محمولة استهلاكية مع معايرة التعريض بعد التقاط الصور عملية جمع البيانات، إلا أنها تمنع إعادة الإضاءة الدقيقة بوحدات فيزيائية مطلقة، مما يشير إلى وجود مجال للتحسين في الإصدارات المستقبلية.

المصدر: MarkTechPost