<?xml version="1.0" encoding="utf-8"?>
<journal>
<title>Journal of Geospatial Information Technology</title>
<title_fa>مهندسی فناوری اطلاعات مکانی</title_fa>
<short_title>jgit</short_title>
<subject>Engineering &amp; Technology</subject>
<web_url>http://jgit.kntu.ac.ir</web_url>
<journal_hbi_system_id>1</journal_hbi_system_id>
<journal_hbi_system_user>admin</journal_hbi_system_user>
<journal_id_issn>2008-9635</journal_id_issn>
<journal_id_issn_online></journal_id_issn_online>
<journal_id_pii>8</journal_id_pii>
<journal_id_doi>10.61882/jgit</journal_id_doi>
<journal_id_iranmedex></journal_id_iranmedex>
<journal_id_magiran></journal_id_magiran>
<journal_id_sid>14</journal_id_sid>
<journal_id_nlai>٢۵٣٨-۴١٨X</journal_id_nlai>
<journal_id_science>13</journal_id_science>
<language>fa</language>
<pubdate>
	<type>jalali</type>
	<year>1399</year>
	<month>10</month>
	<day>1</day>
</pubdate>
<pubdate>
	<type>gregorian</type>
	<year>2021</year>
	<month>1</month>
	<day>1</day>
</pubdate>
<volume>8</volume>
<number>3</number>
<publish_type>online</publish_type>
<publish_edition>1</publish_edition>
<article_type>fulltext</article_type>
<articleset>
	<article>


	<language>fa</language>
	<article_id_doi></article_id_doi>
	<title_fa>ادغام تصاویر مرئی و مادون قرمز حرارتی بر اساس تبدیلات چندمقیاسی و نمایش پراکنده</title_fa>
	<title>Fusion of Thermal Infrared and Visible Images Based on Multi-scale Transform and Sparse Representation</title>
	<subject_fa>سنجش از دور</subject_fa>
	<subject>RS</subject>
	<content_type_fa>پژوهشي</content_type_fa>
	<content_type>Research</content_type>
	<abstract_fa>با توجه به تفاوت طیف مرئی و مادون قرمز حرارتی، ترکیب این دو نوع تصویر منجر به درک بهتر مشخصات عوارض و محیط می&amp;shy;گردد. تصاویر مادون قرمز حرارتی، برای تشخیص اهداف از پس زمینه آنها بر اساس تفاوت تابش حرارتی در هر شرایط آب و هوایی و در طول روز یا شب و همچنین محاسبه دمای سطح زمین اهمیت فراوانی دارند. این باندها توان تفکیک مکانی پایینی داشته و تشخیص عوارض در آنها با سختی همراه است. یکی از روش های مفید برای تولید تصاویر حرارتی با توان تفکیک مکانی بالا، ادغام این تصاویر با تصاویری با رزولوشن مکانی بالاتر نظیر باندهای مرئی می&amp;shy;باشد. بنابراین، با ادغام این تصاویر می&amp;shy;توان از اطلاعات تابش حرارتی در تصاویر مادون قرمز حرارتی و جزئیات مکانی در تصاویر مرئی به صورت همزمان بهره برد. تبدیلات چند مقیاسی&lt;span dir=&quot;LTR&quot;&gt; (MST) &lt;/span&gt;و نمایش پراکنده&lt;span dir=&quot;LTR&quot;&gt;(SR) &lt;/span&gt;&amp;nbsp;به طور گسترده برای ادغام تصاویر استفاده می&amp;shy;شوند. به منظور بهبود عملکرد ادغام تصاویر، &amp;nbsp;این روش&amp;shy;ها با یکدیگر ترکیب می&amp;shy;شوند. در روش ترکیبی، ابتدا تبدیل چندمقیاسی بر روی هر یک از تصاویر اولیه از قبل هم مرجع شده اعمال می&amp;shy;شود تا ضرایب پایین گذر و بالاگذر آنها بدست آید. سپس، تصاویر پایین گذر با روش ادغام بر مبنای نمایش پراکنده و تصاویر بالاگذر با استفاده از مقادیر مطلق ضرایب ترکیب می&amp;shy;شوند. در نهایت تصویر ادغام شده با استفاده از تبدیل معکوس چند مقیاسی بر روی ضرایب ادغام شده به دست می&amp;shy;آید&lt;span dir=&quot;LTR&quot;&gt;.&lt;/span&gt; در این مقاله، نه روش ادغام تصاویر بر مبنای تبدیلات چندمقیاسی و تئوری نمایش پراکنده شامل تبدیل هرم لاپلاسی &lt;span dir=&quot;LTR&quot;&gt;(LP)&lt;/span&gt;، نسبت هرم پایین گذر (&lt;span dir=&quot;LTR&quot;&gt;RP&lt;/span&gt;)، تبدیل ویولت (&lt;span dir=&quot;LTR&quot;&gt;Wavelet&lt;/span&gt;)، تبدیل ویولت مختلط دوگانه درختی &lt;span dir=&quot;LTR&quot;&gt;&amp;nbsp;(DTCWT)&lt;/span&gt;، تبدیل کرولت &lt;span dir=&quot;LTR&quot;&gt;(CVT)&lt;/span&gt;، تبدیل کانتورلت بدون کاهش بعد (&lt;span dir=&quot;LTR&quot;&gt;NSCT&lt;/span&gt;)، روش نمایش پراکنده (&lt;span dir=&quot;LTR&quot;&gt;SR&lt;/span&gt;)، ترکیب هرم لاپلاسی با روش &lt;span dir=&quot;LTR&quot;&gt;SR&lt;/span&gt; &lt;span dir=&quot;LTR&quot;&gt;(LP-SR)&lt;/span&gt; و ترکیب تبدیل کانتورلت با روش &lt;span dir=&quot;LTR&quot;&gt;SR&lt;/span&gt; &lt;span dir=&quot;LTR&quot;&gt;(NSCT-SR)&lt;/span&gt; را با استفاده از تصاویر &lt;span dir=&quot;LTR&quot;&gt;FLIR&lt;/span&gt; و تصاویر ماهواره&amp;shy;ای لندست 8 مورد ارزیابی قرار می&amp;shy;دهیم. برای ارزیابی کارآیی روشهای مختلف ادغام از سه معیار ارزیابی کمی شامل آنتروپی (&lt;span dir=&quot;LTR&quot;&gt;EN&lt;/span&gt;)، اطلاعات متقابل (&lt;span dir=&quot;LTR&quot;&gt;MI&lt;/span&gt;) و معیار ادغام بر مبنای گرادیان (&lt;span dir=&quot;LTR&quot;&gt;QAB/F&lt;/span&gt;) استفاده کردیم. با وجود فقدان پوشش طیفی میان باندهای مرئی و مادون قرمز حرارتی تصویر لندست 8، تصاویر ادغام شده به روش ترکیبی &lt;span dir=&quot;LTR&quot;&gt;LP-SR&lt;/span&gt; بالاترین مقادیر معیارهای کمی را داشته (&lt;span dir=&quot;LTR&quot;&gt;EN=7.362, MI=2.605, QAB/F =0.531&lt;/span&gt;) و از نظر بصری نیز کیفیت بهتری دارند. این بدان معنی است که همزمان با بهبود جزئیات مکانی، اطلاعات تابش حرارتی نیز به خوبی حفظ شده است. با مقایسه مقادیر معیارهای کمی، روشهای &lt;span dir=&quot;LTR&quot;&gt;RP&lt;/span&gt; ، &lt;span dir=&quot;LTR&quot;&gt;LP&lt;/span&gt; و &lt;span dir=&quot;LTR&quot;&gt;NSCT&lt;/span&gt; در رتبه های بعدی قرار دارند. در تصاویر &lt;span dir=&quot;LTR&quot;&gt;FLIR&lt;/span&gt; نیز نتایج مشابهی حاصل شده است.</abstract_fa>
	<abstract>Due to the differences between the visible and thermal infrared images, combination of these two types of images is essential for better understanding the characteristics of targets and the environment. Thermal infrared images have most importance to distinguish targets from the background based on the radiation differences, which work well in all-weather and day/night conditions also in land surface temperature (LST) calculation. However, their spatial resolution is relatively low, making it challenging to detect targets. Image fusion is an efficient method that is employed to enhance spatial resolution of the thermal bands through fusing these images with high spatial resolution visible images. Therefore, it is desirable to fuse these two types of images, which can combine the advantages of both the thermal radiation information and detailed spatial information. Multi-scale transforms (MST) and sparse representation (SR) are widely used in image fusion. To improve the performance of image fusion, these two types of methods can be combined. In this regard, an MST is firstly performed on each of the preregistered source images to obtain their low-pass and high-pass coefficients. Then, the low-pass images are combined with a SR-based fusion approach while the high-pass images are fused using the absolute values of the coefficients. The fused image is finally obtained by performing an inverse MST on the merged coefficients. &amp;nbsp;In this paper, nine image fusion methods based on the multi-scale transform and sparse representation, namely Laplacian pyramid (LP), ratio of low-pass pyramid (RP), wavelet transform (Wavelet), dual-tree complex wavelet transform (DTCWT), curvelet transform (CVT), nonsubsampled contourlet transform (NSCT), sparse representation (SR), hybrid sparse representation and Laplacian pyramid methods (LP-SR) and hybrid sparse representation and NSCT methods (NSCT-SR) are tested on FLIR and landsat-8 thermal infrared and visible images. To evaluate the performance of different image fusion methods we use three quantitative evaluation metrics: entropy (EN), mutual information (MI), and gradient based fusion metric &lt;span dir=&quot;RTL&quot;&gt;)&lt;/span&gt;Q&lt;sup&gt;AB/F&lt;/sup&gt;&lt;span dir=&quot;RTL&quot;&gt;(&lt;/span&gt;. Despite the lack of spectral coverage between the visible and thermal infrared bands of Landsat 8, quantitative evaluation metrics showed that the hybrid LP-SR method provides the best result (EN=7.362, MI=2.605, QAB/F =0.531) and fused images have best visual quality. This method improve spatial details while preserving the thermal radiation information. It followed by RP, LP, and NSCT methods. Similar results were achieved in FLIR images.&lt;span dir=&quot;RTL&quot;&gt;&lt;/span&gt;&lt;br&gt;
&amp;nbsp;</abstract>
	<keyword_fa>تصویر مرئی, تصویر مادون قرمز حرارتی, ادغام تصاویر, تبدیل چند مقیاسی, نمایش پراکنده</keyword_fa>
	<keyword>Visible image, Thermal infrared image, Image fusion, Multi-scale transform, Sparse representation</keyword>
	<start_page>39</start_page>
	<end_page>59</end_page>
	<web_url>http://jgit.kntu.ac.ir/browse.php?a_code=A-11-678-1&amp;slc_lang=fa&amp;sid=1</web_url>


<author_list>
	<author>
	<first_name>mohammad</first_name>
	<middle_name></middle_name>
	<last_name>fallah</last_name>
	<suffix></suffix>
	<first_name_fa>محمد</first_name_fa>
	<middle_name_fa></middle_name_fa>
	<last_name_fa>فلاح</last_name_fa>
	<suffix_fa></suffix_fa>
	<email>mfallah84@gmail.com</email>
	<code>10031947532846008278</code>
	<orcid>10031947532846008278</orcid>
	<coreauthor>Yes
</coreauthor>
	<affiliation>Remote Sensing &amp; GIS Research Center, Shahid Beheshti University</affiliation>
	<affiliation_fa>مرکز مطالعات سنجش از دور و GIS دانشگاه شهید بهشتی</affiliation_fa>
	 </author>


	<author>
	<first_name>mohsen</first_name>
	<middle_name></middle_name>
	<last_name>Azadbakht</last_name>
	<suffix></suffix>
	<first_name_fa>محسن</first_name_fa>
	<middle_name_fa></middle_name_fa>
	<last_name_fa>آزادبخت</last_name_fa>
	<suffix_fa></suffix_fa>
	<email>m_azadbakht@sbu.ac.ir</email>
	<code>10031947532846008279</code>
	<orcid>10031947532846008279</orcid>
	<coreauthor>No</coreauthor>
	<affiliation>Remote Sensing &amp; GIS Research Center, Shahid Beheshti University</affiliation>
	<affiliation_fa>مرکز مطالعات سنجش از دور و GIS دانشگاه شهید بهشتی</affiliation_fa>
	 </author>


</author_list>


	</article>
</articleset>
</journal>
