|
ارزیابی عملکرد روش های ادغام تصاویر مادون قرمز حرارتی و مرئی در تصاویر پهپاد بر اساس چارچوب VIFB
|
علی عبداللهی ، رضا شاه حسینی*  |
| دانشگاه تهران |
|
|
چکیده: (1204 مشاهده) |
| در حوزه علوم مرتبط با سنجش از دور، ادغام تصاویر مرئی و حرارتی فرآیندی است که در آن اطلاعات طیفی حاصل از تصویر حرارتی و اطلاعات جزئیات مکانی بافت از تصاویر مرئی با هم دیگر ترکیب شده و یک تصویر با ماهیت حرارتی، با جزئیات بالاتر و قدرت تفکیک مکانی بهبود داده شده ارائه میشود. آنچه بسیار حائز اهمیت است هرچه سطح جزئیات مکانی مورد نیاز افزایش یابد، بازه زمانی بین دوره های پایش کاهش یابد و یا نیاز به نتایج در لحظه (real time) افزایش یابد، تصاویر ماهوارههای سنجش از دوری از درجه کارایی خارج اند و یکی از جایگزین های مناسب برای آن استفاده از تصاویر مبتنی بر فتوگرامتری پهپاد مبنا است. هدف از انجام این پژوهش مقایسه نتایج حاصل از تعدادی از روش های توسعه داده شده متناسب با وجود بستر های پیاده سازی روش ها در ادغام تصاویر حرارتی و مرئی بر اساس شاخص های موجود و با تمرکز بر داده های حاصل از تصویربرداری هوایی پهپاد است. در این تحقیق از یک مجموعه داده خام تصاویر مرئی و حرارتی، شامل 30 تصویر مرئی اخذ شده با دوربین Zenmuse X3 80 تصویر حرارتی اخذ شده با دوربین Zenmuse XT نصب شده به روی پهپاد Matrice 100 از یک صحنه مسطح در منطقه ای به وسعت 1/54 هکتار در دانشگاه دل واله کلمبیا استفاده شده است. فرآیند ادغام مبتنی بر 12 الگوریتم مختلف و در قالب چارچوب VIFB انجام شده است. سپس خروجی هر روش با 13 معیار استاندارد ارزیابی کیفیت ادغام بررسی شده است. در نهایت با استاندارد سازی نسبی شاخص ها فرآیند امتیاز دهی به هر الگوریتم انجام شده است. سه الگوریتم Hybrid-MSD، CBF و HMSD-GF از میان روشهای مورد آزمون، به صورت نسبی به ترتیب 82/3، 80/3 و 79/5 درصد در حل مسئله ادغام تصاویر مرئی و حرارتی پهپاد موفق بوده اند. همچنین پس از انجام فرآیند ادغام تصاویر خروجیها توسط یک مدل رگرسیون خطی آموزش داده میشود و تصویر ادغام حاوی درجات خاکستری به تصویر دمای درخشندگی تبدیل شده اند. |
|
| واژههای کلیدی: ادغام تصاویر هوایی، تلفیق تصاویر، تصویر مرئی، تصویر حرارتی، فتوگرامتری پهپاد، سنجش از دور |
|
|
متن کامل [PDF 1496 kb]
(349 دریافت)
|
نوع مطالعه: كاربردي |
موضوع مقاله:
سنجش از دور دریافت: 1403/6/30 | پذیرش: 1405/3/25 | انتشار الکترونیک پیش از انتشار نهایی: 1405/3/27 | انتشار: 1405/4/9
|
|
|
|
|
|
|
| فهرست منابع |
1. [1] B. K. Shreyamsha Kumar, "Image Fusion Based on Pixel Significance Using Cross Bilateral Filter," Signal, Image Video Process., vol. 9, pp. 1193-1204, 2015. [ DOI:10.1007/s11760-013-0556-9] 2. [2] V. Yilmaz and O. Gungor, "Fusion of Very High-Resolution UAV Images with Criteria-Based Image Fusion Algorithm," Arab. J. Geosci., vol. 9, pp. 1-16, 2016. [ DOI:10.1007/s12517-015-2109-8] 3. [3] Y. Liu, C. Zheng, X. Liu, Y. Tian, J. Zhang, and W. Cui, "Forest Fire Monitoring Method Based on UAV Visual and Infrared Image Fusion," Remote Sens., vol. 15, 2023. [ DOI:10.3390/rs15123173] 4. [4] S. Li, B. Yang, and J. Hu, "Performance Comparison of Different Multi-Resolution Transforms for Image Fusion," Inf. Fusion, vol. 12, pp. 74-84, 2011. [ DOI:10.1016/j.inffus.2010.03.002] 5. [5] J. Wang, J. Peng, X. Feng, G. He, and J. Fan, "Fusion Method for Infrared and Visible Images by Using Non-Negative Sparse Representation," Infrared Phys. Technol., vol. 67, pp. 477-489, 2014. [ DOI:10.1016/j.infrared.2014.09.019] 6. [6] X. Zhang and Y. Demiris, "Visible and Infrared Image Fusion Using Deep Learning," IEEE Trans. Pattern Anal. Mach. Intell., vol. 45, pp. 10535-10554, 2023. [ DOI:10.1109/TPAMI.2023.3261282] 7. [7] W. Kong, Y. Lei, and H. Zhao, "Adaptive Fusion Method of Visible Light and Infrared Images Based on Non-Subsampled Shearlet Transform and Fast Non-Negative Matrix Factorization," Infrared Phys. Technol., vol. 67, pp. 161-172, 2014. [ DOI:10.1016/j.infrared.2014.07.019] 8. [8] X. Zhang, Y. Ma, F. Fan, Y. Zhang, and J. Huang, "Infrared and Visible Image Fusion via Saliency Analysis and Local Edge-Preserving Multi-Scale Decomposition," J. Opt. Soc. Am. A, vol. 34, p. 1400, 2017. [ DOI:10.1364/JOSAA.34.001400] 9. [9] J. Ma, Y. Ma, and C. Li, "Infrared and Visible Image Fusion Methods and Applications: A Survey," Inf. Fusion, vol. 45, pp. 153-178, 2019. [ DOI:10.1016/j.inffus.2018.02.004] 10. [10] J. Yu, C. Zhou, and J. Zhao, "Improvement of Wheat Growth Information by Fusing UAV Visible and Thermal Infrared Images," Agronomy, vol. 12, 2022. [ DOI:10.3390/agronomy12092087] 11. [11] L. M. García-Moreno, J. P. Díaz-Paz, H. Loaiza-Correa, and A. D. Restrepo-Girón, "Dataset of Thermal and Visible Aerial Images for Multi-Modal and Multi-Spectral Image Registration and Fusion," Data Br., vol. 29, 2020. [ DOI:10.1016/j.dib.2020.105326] 12. [12] "Visible and Infrared Image Fusion Benchmark," in IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit. Work., 2020, pp. 468-478. [ DOI:10.1109/CVPRW50498.2020.00060] 13. [13] V. P. S. Naidu, "Image Fusion Technique Using Multi-Resolution Singular Value Decomposition," Def. Sci. J., vol. 61, pp. 479-484, 2011. [ DOI:10.14429/dsj.61.705] 14. [14] D. P. Bavirisetti and R. Dhuli, "Fusion of Infrared and Visible Sensor Images Based on Anisotropic Diffusion and Karhunen-Loeve Transform," IEEE Sens. J., vol. 16, pp. 203-209, 2016. [ DOI:10.1109/JSEN.2015.2478655] 15. [15] Z. Zhou, M. Dong, X. Xie, and Z. Gao, "Fusion of Infrared and Visible Images for Night-Vision Context Enhancement," Appl. Opt., vol. 55, p. 6480, 2016. [ DOI:10.1364/AO.55.006480] 16. [16] Z. Zhou, B. Wang, S. Li, and M. Dong, "Perceptual Fusion of Infrared and Visible Images through a Hybrid Multi-Scale Decomposition with Gaussian and Bilateral Filters," Inf. Fusion, vol. 30, pp. 15-26, 2016. [ DOI:10.1016/j.inffus.2015.11.003] 17. [17] D. P. Bavirisetti and R. Dhuli, "Two-Scale Image Fusion of Visible and Infrared Images Using Saliency Detection," Infrared Phys. Technol., vol. 76, pp. 52-64, 2016. [ DOI:10.1016/j.infrared.2016.01.009] 18. [18] J. Ma, C. Chen, C. Li, and J. Huang, "Infrared and Visible Image Fusion via Gradient Transfer and Total Variation Minimization," Inf. Fusion, vol. 31, pp. 100-109, 2016. [ DOI:10.1016/j.inffus.2016.02.001] 19. [19] D. P. Bavirisetti, G. Xiao, and G. Liu, "Multi-Sensor Image Fusion Based on Fourth Order Partial Differential Equations," in *20th Int. Conf. Inf. Fusion, Fusion 2017 - Proc.*, 2017. [ DOI:10.23919/ICIF.2017.8009719] 20. [20] Y. Zhang, L. Zhang, X. Bai, and L. Zhang, "Infrared and Visual Image Fusion through Infrared Feature Extraction and Visual Information Preservation," Infrared Phys. Technol., vol. 83, pp. 227-237, 2017. [ DOI:10.1016/j.infrared.2017.05.007] 21. [21] Y. Liu, X. Chen, J. Cheng, H. Peng, and Z. Wang, "Infrared and Visible Image Fusion with Convolutional Neural Networks," Int. J. Wavelets, Multiresolution Inf. Process., vol. 16, 2018. [ DOI:10.1142/S0219691318500182] 22. [22] J. Ma, Z. Zhou, B. Wang, and H. Zong, "Infrared and Visible Image Fusion Based on Visual Saliency Map and Weighted Least Square Optimization," Infrared Phys. Technol., vol. 82, pp. 8-17, 2017. [ DOI:10.1016/j.infrared.2017.02.005] 23. [23] G. Yuan et al., "Accuracy Assessment and Scale Effect Investigation of UAV Thermography for Underground Coal Fire Surface Temperature Monitoring," Int. J. Appl. Earth Obs. Geoinf., vol. 102, p. 102426, 2021. [ DOI:10.1016/j.jag.2021.102426] 24. [24] FLIR Systems, "User's Manual FLIR Tools/Tools+ 5.1," T810209, pp. 129-133, 2017. 25. [25] Z. Liu, E. Blasch, Z. Xue, J. Zhao, R. Laganiére, and W. Wu, "Objective Assessment of Multiresolution Image Fusion Algorithms for Context Enhancement in Night Vision: A Comparative Study," IEEE Trans. Pattern Anal. Mach. Intell., vol. 34, pp. 94-109, 2012. [ DOI:10.1109/TPAMI.2011.109] 26. [26] X. Zhang, "VIFB: Visible and Infrared Image Fusion Benchmark," GitHub. [Online]. Available: https://github.com/xingchenzhang/VIFB.
|
|
| ارسال پیام به نویسنده مسئول |
|
|
|
عبداللهی علی، شاه حسینی رضا. ارزیابی عملکرد روش های ادغام تصاویر مادون قرمز حرارتی و مرئی در تصاویر پهپاد بر اساس چارچوب VIFB. , مهندسی فناوری اطلاعات مکانی. 1404; 13 (4) :65-81 URL: http://jgit.kntu.ac.ir/article-1-960-fa.html
|