Journal of Geospatial Information Technology

fa بکارگیری چارچوب یادگیری انتقال برای قطعه‌بندی معنایی تصاویر با وضوح بالا پهپاد-مبنا در مناطق شهری Transfer Learning Framework for Semantic Segmentation of High-Resolution UAV-based images in Urban Area فتوگرامتری Aerial Photogrammetry پژوهشي Research قطعهبندی معنایی برای پردازش دادههای وسایل نقلیه هوایی بدون سرنشین (UAV) یکی از تحقیقات پیشرو در زمینه فتوگرامتری، سنجشازدور و بیناییکامپیوتر در سالهای اخیر بوده است. این روش توجه فزایندهای را از طرف صنعت و دانشگاه به خود جلب کرده است. بسیاری از کاربردها، از جمله نقشهبرداری هوایی صحنههای شهری، تعیین موقعیت اشیا در تصاویر هوایی، استخراج خودکار ساختمانها از تصاویر سنجشازدور یا هوایی با وضوح بالا و غیره، نیازمند الگوریتمهای قطعهبندی دقیق و کارآمد هستند. با این حال، قطعهبندی معنایی مناسب و دقیق با استفاده از رویکرد یادگیری عمیق (آموزش کلی یک شبکه عصبی عمیق با وزندهی تصادفی) به حجم زیادی از تصاویر آموزشی و برچسبگذاریشده نیاز دارد. با توجه به اینکه در حوزه تصاویر هوایی شهری با  چالش کمبود دادههای برچسبگذاریشده مواجه هستیم، در این مقاله از رویکرد یادگیری انتقال برای قطعه‌بندی معنایی تصاویر پهپاد-مبنا نواحی شهری استفاده کردهایم. روش پیشنهادی، یک چارچوب یادگیری انتقال مبتنی بر معماری رمزگذار-رمزگشا پیچشی <a name="_Hlk117807411">DeepLabV3Plus</a> را با مدل از قبل آموزش دیده ResNet-50 در مجموعه ImageNet برای قطعهبندی معنایی صحنههای شهری پیادهسازی می‌کند. مجموعه داده مورد مطالعه در این تحقیق، مجموعه UAVid2020، یک مجموعه داده <a name="_Hlk103090696">قطعهبندی معنایی پهپاد</a>-مبنا در منطقه شهری از انجمن بین المللی فتوگرامتری و سنجشازدور (ISPRS) است. برای ارزیابی عملکرد قطعهبندی معنایی روش پیشنهادی، از شبکههای عصبی U-Net و Seg-Net استفاده کردیم. نتایج بدست آمده از قطعهبندی معنایی تصاویر پهپاد-مبنا، اثربخشی چارچوب یادگیری انتقال پیشنهادی را نسبت به مدلهای یادگیری عمیق نشان میدهد. از نظر معیار دقت کلی، معماری DeepLabV3Plus-ResNet50 بهترین نتیجه را با 93/81% دقت در مقایسه با شبکههای عصبی U-Net و Seg-Net با دقتهای 35/74% و 15/79% و کسب کرد.   Semantic segmentation technique for Unmanned Aerial Vehicle (UAV) data processing has been one of the leading researches in photogrammetry, remote sensing, and computer vision in recent years. This technique has attracted increasing attention from industry and academia (a wide range of academic and real-world applications). Many applications, including aerial mapping of urban scenes, positioning objects in aerial images, automatic extraction of buildings from remote sensing or high-resolution aerial images, etc., require accurate and efficient segmentation algorithms. However, proper and accurate semantic segmentation using a deep learning approach (overall training of a deep neural network with random weighting) requires a large amount of training and labeled images. As we are facing the challenge of a lack of labeled data in the field of urban aerial images, we used the Transfer Learning Approach for the semantic segmentation of the UAV-based images of urban areas in this paper. The proposed method implements a transfer learning framework based on DeepLabV3Plus convolutional encoder-decoder architecture with ResNet-50 pre-trained model in ImageNet collection for semantic segmentation of the urban scenes. The dataset studied in this research is the UAVid2020, an urban UAV-based semantic segmentation dataset from the International Society for Photogrammetry and Remote Sensing (ISPRS). We used traditional deep learning models (U-Net and Seg-Net convolutional encoder-decoder neural networks) to evaluate the semantic segmentation performance of the proposed method. Finally, the results of  the semantic segmentation of UAV-based images show the effectiveness of the proposed transfer learning framework compared to  the deep learning models, in terms of the overall accuracy metric. The DeepLabV3Plus-ResNet50 architecture achieved the best result with 81.93% compared to U-Net and Seg-Net neural networks with 74.35% and 79.15% respectively.   قطعه بندی معنایی, وسیله نقلیه هوایی بدون سرنشین, یادگیری انتقال , شبکه عصبی عمیق رمزگذار-رمزگشا کانولوشنی, DeepLabV3Plus. Semantic Segmentation, Unmanned Aerial Vehicle (UAV), Transfer Learning, Convolutional Encoder-Decoder Deep Neural Network, DeepLabV3Plus 87 108 http://jgit.kntu.ac.ir/browse.php?a_code=A-11-714-1&slc_lang=fa&sid=1 Abbas Majidizadeh عباس مجیدی زاده a.majidizadeh@tafreshu.ac.ir 10031947532846009147 10031947532846009147 No Tafresh University دانشگاه تفرش Hadiseh Hasani حدیثه سادات حسنی h.hasani@tafreshu.ac.ir 10031947532846009148 10031947532846009148 Yes Tafresh University دانشگاه تفرش Marzieh Jafari مرضیه جعفری jafari@tafreshu.ac.ir 10031947532846009149 10031947532846009149 No Tafresh University دانشگاه تفرش