Journal of Geospatial Information Technology

fa تلفیق چندمقیاسی تصاویر ماهواره ای با توان تفکیک مکانی بالا با استفاده از فیلترهای هدایت پذیر گوسین و نقشه تمایز موضعی Multi-Scale Fusion of High Spatial Resolution Satellite Images Based on Steerable Gaussian Filters and Local Saliency Map سنجش از دور RS پژوهشي Research تصاویر ماهوارهای با توان تفکیک مکانی بالا دربردارنده عوارض موضعی ساختاری در فرکانسهای متعدد بوده که چالشهای اساسی را به هنگام پردازش و تولید محصولات قابل اعتماد سنجش ازدور و فتوگرامتری از جمله تلفیق تصاویر چندطیفی با باند پنکروماتیک ایجاد خواهند کرد. درنتیجه، تعادل میان اعوجاجات طیفی و مکانی، کاهش یافته و تصاویر حاصل، از واقع گرایی لازم برخوردار نخواهند بود. این مساله، مانعی اساسی برای بسیاری از روشهای سنتی و یادگیرنده است. به علاوه، اختلاف میان داده آموزشی و تست و همچنین عدم دسترسی به داده مرجع، می تواند تعمیم پذیری روش های یادگیرنده را تحت الشعاع قرار دهد. بدین منظور، این تحقیق با ارائه رویکردی دومرحله ای، به دنبال بهبود فرآیند تلفیق پیکسل مبنا (پنشارپ کردن) تصاویر ماهواره ای است. در مرحله اول ، عوارض ساختاری موضعی در رویکردی چندمقیاسی با استفاده از نقشه معیار میانه حاصل از فیلترهای هدایت پذیر گوسین در حوزه مکان و با الهام از الگوریتم شاخص تبدیل ویژگی مستقل از مقیاس (SIFT) در ادغام با تابع مدلسازی انتقال (MTF) سنجنده بازسازی میشوند. در ادامه، نقشه تمایز دودویی با استفاده از گرادیانهای مورفولوژیکی و آستانه گذاری اتسو (OTSU) ایجاد میشود. تصویر بازسازی شده حاصل به‌عنوان تصویر راهنما و نقشه تمایز به عنوان فیلتر راهنما درنظرگرفته شده و به منظور بهبود عملکرد و تعمیم پذیری مجموعه ای از روشهای شاخص ارائه شده تلفیق در چارچوب های محاسباتی متنوع (مبتنی و عدم مبتنی بر یادگیری عمیق) اعمال میشود. به منظور ارزیابی از چارچوب های متنوع، ازجمله، پارامترهای مبتنی و عدم مبتنی بر تصویر مرجع استفاده شده که نتایج کمی و کیفی حاصل از بهبود عملکرد روشهای انتخابی و افزایش واقع گرایی فرآیند تلفیق است. از این میان، الگوریتم شبکه پنشارپ کننده مبتنی بر هرم لاپلاسین (LPPN) که مبتنی بر یادگیری عمیق بوده، عملکرد بهتری در مقایسه با روشهای دیگر داشته که با استفاده از رویکرد پیشنهادی بهبود یافته است. میانگین معیار ارزیابی بدون مرجع (QNR) روشهای انتخابی با استفاده از رویکرد پیشنهادی از 0/931 به 0/9430 و میانگین معیار ارزیابی ترکیبی بدون مرجع (HQNR) از 0/920 به 0/931 افزایش یافته است. همچنین میانگین اعوجاجات طیفی و مکانی نیز به ترتیب از 0/05 به 0/04 و از 0/0576 به 0/0483 کاهش یافته است. میانگین معیار زاویه طیفی (SAM) نیز از 3/5022 به 3/268  کاهش یافته است که در مجموع، حاکی از کاهش اعوجاجات و بهبود واقع گرایی فرآیند تلفیق هستند.   High-resolution remote sensing images capture intricate local structural features across a range of frequencies, causing significant challenges in producing reliable remote sensing and photogrammetry products, particularly in the fusion of multispectral images with panchromatic bands. Many existing methods suffer from spectral and spatial distortions due to inadequate reconstruction of these local features, which poses a critical obstacle for both traditional and learning-based approaches. Furthermore, discrepancies between the training and test samples, with lack of access to reference data, can hinder the generalizability of learning-based methods. Accordingly, this paper introduces a novel two-stage approach aimed at enhancing the pixel-based fusion process of satellite images, specifically in pan-sharpening applications. The first stage focuses on reconstructing the local structural features through a multiscale technique inspired by the well-established SIFT algorithm. This method utilizes a median index map derived from steerable Gaussian filters in the spatial domain, and also incorporates the sensor's Modulation Transfer Function (MTF). Following this, a binary saliency map is generated using morphological gradients and Otsu thresholding. The reconstructed image and the saliency map are subsequently employed as a guiding image and guiding filter, respectively, and are integrated with various pan-sharpening methods across both conventional and learning-based computational frameworks. The qualitative and quantitative results demonstrate a marked improvement in the performance of these methods, yielding more realistic pansharpened images. Notably, the learning-based LPPN algorithm shows a superior performance compared to the other methods and is further enhanced by the proposed approach. On average, the Quality No-Reference (QNR) and the Hybrid Quality No-Reference (HQNR) evaluation metrics for the selected methods using the proposed approach have increased from 0.931 to 0.9430, and from 0.920 to 0.9310, respectively. Additionally, the average spectral and spatial distortions have decreased from 0.05 to 0.04 and from 0.0576 to 0.0483, respectively. Moreover, the average Spectral Angle Metric (SAM) has decreased from 3.5022 to 3.268, indicating a reduction in the distortions and an improvement in the realism of the fusion process. تلفیق تصاویر سنجش‌ازدوری, فیلترهای هدایت‌پذیر گوسین, نقشه تمایز, گرادیان مورفولوژیکی, MTF سنجنده, الگوریتم LPPN remote sensing image fusion, steerable Gaussian filter, saliency map, morphological gradients, the sensor MTF, the learning-based LPPN 59 81 http://jgit.kntu.ac.ir/browse.php?a_code=A-11-124-21&slc_lang=fa&sid=1 Negar Jovhari نگار جوهری negarjovhari77@gmail.com 100319475328460010083 100319475328460010083 No University of Tehran دانشگاه تهران Reza Shah-Hosseini رضا شاه حسینی rshahosseini@ut.ac.ir 100319475328460010084 100319475328460010084 Yes University of Tehran دانشگاه تهران Mahdi Hasanlou مهدی حسنلو hasanlou@ut.ac.ir 100319475328460010085 100319475328460010085 No University of Tehran دانشگاه تهران Amin Sedaghat امین صداقت a.sedaghat@tabrizu.ac.ir 100319475328460010086 100319475328460010086 No University of Tabriz دانشگاه تبریز Nazila Mohammadi نازیلا محمدی n.mohammadi@tabrizu.ac.ir 100319475328460010087 100319475328460010087 No University of Tabriz دانشگاه تبریز Siamand Avestan سیامند اوستان 100319475328460010088 100319475328460010088 No Bu-Ali Sina University دانشگاه بوعلی‌سینا