Journal of Geospatial Information Technology

fa ارزیابی عملکرد سه مدل یادگیری عمیق در استخراج عوارض ساختمانی از تصاویر هوایی و ماهواره‌ای Performance evaluation of three deep learning models in building footprint extraction from aerial and satellite images سنجش از دور RS پژوهشي Research ساختمان‌ها به‌عنوان یکی از مهم‌ترین عوارض دست‌ساز بشر، کاربردهای فراوانی در زمینه‌های مختلف داشته و ارزیابی و شناسایی آن‌ها با استفاده از تصاویر هوایی و ماهواره‌ای امری ضروری است. روش‌های مبتنی بر یادگیری عمیق، اخیراً به طور گسترده‌ای برای استخراج عوارض ساختمانی از تصاویر هوایی و ماهواره‌ای به‌صورت خودکار استفاده شده‌اند. شناخت خصوصیات روش‌های مختلف در مقایسه با یکدیگر و برای انواع مختلف از تصاویر با شرایط هندسی و روشنایی متفاوت ضروری است. بدین منظور، در این تحقیق عملکرد سه مدل یادگیری عمیق مطرح شامل Mask-RCNN (Mask Region-based Convolutional Neural Network)، U-Net وMA-FCN (Multi-scale Aggregation Fully Convolutional Network) در استخراج عوارض ساختمانی از سه مجموعه داده تصاویر ماهواره‌ای و هوایی با استفاده از معیارهای IOU  (Intersection Over :union:)و F1-score بررسی شده است. علاوه بر این در این تحقیق اثر استفاده از مدل رقومی سطح در فرآیند استخراج ساختمان توسط این الگوریتم‌ها نیز بررسی شده است. به طور کلی نتایج حاصل از این تحقیق نشان می‌دهد که علاوه بر نوع مدل، تعداد و کیفیت نمونه‌های آموزشی و استفاده از مدل رقومی سطح نیز در نتایج تأثیرگذار است. همچنین استفاده از مدل رقومی سطح در کنار تصاویر سه‌باندی روش مناسبی برای بهبود عملکرد مدل‌های یادگیری عمیق در استخراج عوارض ساختمانی است. مدل رقومی سطح نتایج حاصل از استخراج ساختمان‌ها را در مدل‌های U-Net و MA-FCN به‌ترتیب % 46/7 و % 7/5 در تصاویر ماهواره‌ای و % 61/3 و % 34/3 در تصاویر هوایی در معیار  IOU بهبود داده است. مدل‌های U-Net و MA-FCN به‌دلیل ترکیب ویژگی‌های قسمت رمزگذار با ویژگی‌های قسمت رمزگشا، در مرز ساختمان‌ها دقیق‌تر هستند. مدل Mask-RCNN به‌دلیل دارا بودن ساختار ResNet در معماری خود به مسئله فرابرازش مقاوم‌تر است.   Buildings as one of the important man-made objects have various applications and need to be observed with aerial and satellite images. Deep learning models have often been used to automatically extract building footprints from aerial and satellite images. It is essential to evaluate and compare the features of different deep learning models in images with geometric and brightness variations. For this purpose, in this research the performance of three deep learning models called Mask-RCNN (Mask Region-based Convolutional Neural Network), U-Net and MA-FCN (Multi-scale Aggregation Fully Convolutional Network) is evaluated on two aerial and satellite datasets with F1-score and IOU metrics. The results of this research indicate that the model, quantity and quality of training samples and digital surface model affect the performance of these models. Also, using digital surface models alongside the 3 band RGB images is an effective way of improving the building footprint extraction with deep learning models. By using digital surface model, the IOU results of U-Net and MA-FCN models in building footprint extraction are increased 7.46% and 5.7% in satellite dataset and 3.61% and 3.34% in aerial dataset, respectively. U-Net and MA-FCN are more precise in building boundaries since they concatenate feature maps of encoder and decoder parts in producing final segmentation maps. Mask-RCNN is stable to overfitting because of using ResNet in its architecture.   یادگیری عمیق, ساختمان, مدل رقومی سطح, تصاویر ماهواره‌ای, U-Net Deep Learning, Buildings, Digital Surface Model, Satellite Imagery, U-Net 105 123 http://jgit.kntu.ac.ir/browse.php?a_code=A-11-977-1&slc_lang=fa&sid=1 Nima Ahmadian نیما احمدیان n.ahmadian99@ms.tabrizu.ac.ir 10031947532846009346 10031947532846009346 Yes University of Tabriz دانشگاه تبریز Amin Sedaghat امین صداقت a.sedaghat@tabrizu.ac.ir 10031947532846009347 10031947532846009347 No University of Tabriz دانشگاه تبریز Nazila Mohammadi نازیلا محمدی n.mohammadi@tabrizu.ac.ir 10031947532846009348 10031947532846009348 No University of Tabriz دانشگاه تبریز