پیام سپاهان - زومیت / اپل با ادغام مدل هوش مصنوعی در پردازش دوربین، قصد دارد مشکل همیشگی عکسهای تاریک و بیکیفیت را برای همیشه حل کند.
پژوهشگران اپل هوش مصنوعی جدیدی توسعه دادهاند که کیفیت عکسهای بسیار تاریک را بهطرز چشمگیری بهبود میبخشد. این سیستم با ادغام مدل تصویر مبتنیبر دیفیوژن در فرایند پردازش دوربین، قادر است جزئیاتی را از دادههای خام حسگر بازیابی کند که در حالت عادی از دست میرفتند.
بازار
احتمالاً برای شما هم پیش آمده که در محیطی بسیار کمنور عکاسی کنید و با تصویری پر از نویزهای دیجیتال و دانهدانه مواجه شوید. این اتفاق زمانی رخ میدهد که حسگر تصویر نور کافی دریافت نمیکند.
شرکتهایی مانند اپل برای جبران این نقص، از الگوریتمهای پردازش تصویر استفاده میکنند؛ الگوریتمهایی که بهدلیل ایجاد جلوههای بیشازحد صاف و شبیه نقاشی رنگروغن (که در آن جزئیات ظریف محو یا به چیزی نامفهوم تبدیل میشوند) مورد انتقاد قرار گرفتهاند.
پژوهشگران اپل و دانشگاه پردو برای حل این چالش، مدلی به نام DarkDiff را توسعه دادهاند. آنها در مقالهای با عنوان «DarkDiff: پیشبرد بهبود تصاویر خام در نور کم با تغییر کاربری مدلهای دیفیوژن برای ISP دوربین»، دستاورد خود را معرفی کردند.
بهبیان ساده، آنها بهجای اعمال هوش مصنوعی در مرحلهی پسپردازش، مدل «استیبل دیفیوژن» را که روی میلیونها تصویر آموزش دیده، بازتعریف کردهاند. این مدل درک میکند که با توجه به کلیت تصویر، چه جزئیاتی باید در نواحی تاریک وجود داشته باشد و سپس با پردازش سیگنال تصویر (ISP) ادغام میشود.
رویکرد آنها مکانیزمی را معرفی میکند که پردازش را روی اجزای تصویر متمرکز میکند؛ کاری که به حفظ ساختارهای محلی عکس کمک میکند و از ایجاد توهمات تصویری (تغییر کلی محتوا با هوش مصنوعی) جلوگیری میکند.
با این روش، ISP دوربین همچنان پردازشهای اولیهی ضروری روی دادههای خام حسگر (مانند تعادل سفیدی و دیموزاییککردن) را انجام میدهد. سپس DarkDiff روی این تصویر RGB خطی عمل میکند، نویز را حذف میکند و مستقیماً تصویر نهایی sRGB را خروجی میدهد.
DarkDiff همچنین از تکنیک استاندارد دیفیوژن به نام «هدایت بدون طبقهبندی» بهره میبرد که تعیین میکند مدل تا چه حد باید به تصویر ورودی وفادار بماند و چقدر از دانستههای قبلی خود استفاده کند.
با کاهش سطح هدایت، مدل الگوهای صافتری تولید میکند؛ اما افزایش هدایت باعث ایجاد بافتهای تیزتر و جزئیات دقیقتر میشود (که البته ریسک ایجاد مصنوعات ناخواسته یا محتوای خیالی را هم بالا میبرد).
محققان برای آزمایش DarkDiff، از عکسهای واقعی گرفتهشده در نور بسیار کم با دوربینهایی مثل سونی A7SII استفاده کردند و نتایج را با سایر مدلهای بهبود تصویر خام و مدلهای مبتنیبر دیفیوژن (از جمله ExposureDiffusion) مقایسه کردند
تصاویر آزمایشی در شب و با نوردهی بسیار کوتاه (۰٫۰۳۳ ثانیه) ثبت شدند و نسخههای بهبودیافتهی DarkDiff با عکسهای مرجع که با نوردهی ۳۰۰ برابر طولانیتر روی سهپایه گرفته شده بودند، مقایسه شدند.
پژوهشگران خاطرنشان کردند که پردازش مبتنیبر هوش مصنوعی آنها بهمراتب کندتر از روشهای سنتی است و احتمالاً به پردازش ابری نیاز دارد؛ چون اجرای محلی آن روی گوشی باتری را بهسرعت تخلیه میکند. همچنین محدودیتهایی در تشخیص متنهای غیرانگلیسی در صحنههای کمنور وجود دارد.