طور باحثو شركة أبل نموذجاً للذكاء الاصطناعي يُحسن بشكل كبير جودة الصور في ظروف الإضاءة المنخفضة للغاية والظلام الشديد.
ومشكلة الصور الملتقطة في ظروف الإضاءة المنخفضة للغاية، أنها ربما تكون مليئة بالتشويش الرقمي الحبيبي، يحدث هذا عندما لا يلتقط مستشعر الصورة كمية كافية من الضوء.
وفي محاولة للتعويض عن ذلك، لجأت شركات مثل أبل بتطبيق خوارزميات معالجة الصور التي تعرضت لانتقادات بسبب خلقها تأثيرات ناعمة للغاية تشبه الرسم الزيتي، حيث تختفي التفاصيل الدقيقة أو يتم إعادة بنائها إلى شيء بالكاد يمكن التعرف عليه أو قراءته.
ولمعالجة هذه المشكلة، طوّر باحثون من شركة أبل وجامعة بيردو نموذجاً يُسمى "DarkDiff"، وبدلاً من تطبيق الذكاء الاصطناعي في مرحلة المعالجة اللاحقة، أعادوا توجيه "Stable Diffusion" (وهو نموذج مفتوح المصدر تم تدريبه على ملايين الصور) لفهم التفاصيل التي يجب أن تكون موجودة في المناطق المظلمة من الصور مع مراعاة سياقها العام، وقاموا بدمجها في مسار معالجة إشارة الصورة.
ويقوم الذكاء الاصطناعي بإعادة البناء عبر تغيير محتوى الصورة بالكامل.
وبهذا الأسلوب، لا تزال وحدة معالجة الصور (ISP) في الكاميرا تتولى المعالجة الأولية اللازمة لفهم بيانات المستشعر الخام، بما في ذلك خطوات مثل توازن اللون الأبيض وإزالة التداخل اللوني، ثم يقوم برنامج "DarkDiff" بمعالجة صورة RGB الخطية هذه، وإزالة التشويش منها، وإنتاج صورة sRGB النهائية مباشرة.
ويستخدم "DarkDiff" أيضاً تقنية انتشار قياسية تسمى التوجيه الخالي من المصنف، والتي تتحكم بشكل أساسي في مدى قوة اتّباع النموذج للصورة المدخلة، مقابل افتراضاته البصرية المسبقة التي تعلمها.
ومع انخفاض التوجيه، ينتج النموذج أنماطاً أكثر سلاسة، بينما تشجعه زيادة التوجيه على توليد أنسجة أكثر حدة وتفاصيل أدق (وهو ما يزيد بدوره من خطر إنتاج قطع غير مرغوب فيها أو محتوى وهمي).
ومن المهم الإشارة إلى أنه لم يُذكر في الدراسة أن تقنية "DarkDiff" ستتوفر لأجهزة آيفون قريبا.