Earticle

본 논문에서는 정밀한 semantic segmentation을 위해 강조 기법을 활용한 DeepLabv3+ 기반의 인코더-디코 더 모델을 제안하였다. DeepLabv3+는 딥러닝 기반 semantic segmentation 방법이며 자율주행 자동차, 적외선 이미 지 분석 등의 응용 분야에서 주로 사용된다. 기존 DeepLabv3+는 디코더 부분에서 인코더의 중간 특징맵 활용이 적어 복원 과정에서 손실이 발생한다. 이러한 복원 손실은 분할 정확도를 감소시키는 문제를 초래한다. 따라서 제안하는 방법 은 하나의 중간 특징맵을 추가로 활용하여 복원 손실을 최소화하였다. 또한, 추가 중간 특징맵을 효과적으로 활용하기 위해 작은 크기의 특징맵부터 계층적으로 융합하였다. 마지막으로, 디코더에 강조 기법을 적용하여 디코더의 중간 특징맵 융합 능력을 극대화하였다. 본 논문은 거리 영상 분할연구에 공통으로 사용되는 Cityscapes 데이터셋에서 제안하는 방법 을 평가하였다. 실험 결과는 제안하는 방법이 기존 DeepLabv3+와 비교하여 향상된 분할 결과를 보였다. 이를 통해 제안 하는 방법은 높은 정확도가 필요한 응용 분야에서 활용될 수 있다.

In this paper, we proposed a DeepLabv3+ based encoder-decoder model utilizing an attention mechanism for precise semantic segmentation. The DeepLabv3+ is a semantic segmentation method based on deep learning and is mainly used in applications such as autonomous vehicles, and infrared image analysis. In the conventional DeepLabv3+, there is little use of the encoder's intermediate feature map in the decoder part, resulting in loss in restoration process. Such restoration loss causes a problem of reducing segmentation accuracy. Therefore, the proposed method firstly minimized the restoration loss by additionally using one intermediate feature map. Furthermore, we fused hierarchically from small feature map in order to effectively utilize this. Finally, we applied an attention mechanism to the decoder to maximize the decoder's ability to converge intermediate feature maps. We evaluated the proposed method on the Cityscapes dataset, which is commonly used for street scene image segmentation research. Experiment results showed that our proposed method improved segmentation results compared to the conventional DeepLabv3+. The proposed method can be used in applications that require high accuracy.

Sentinel-2는 분광파장대나 공간해상도 측면에서 우리나라 차세대중형위성 4호(농림위성)의 모의영상으로 활용될 수 있다. 이 단보에서는 향후 농림위성영상에 적용하기 위한 예비실험으로, 딥러닝 기술을 이용한 Sentinel-2 영상의 구름탐지를 수행하였다. 전통적인 Convolutional Neural Network (CNN) 모델인 DeepLabV3+와 최신의 Transformer 모델인 Shifted Windows (Swin) Transformer를 이용한 구름탐지 모델을 구축하고, Radiant Earth Foundation (REF)에서 제공하는 22,728장의 학습자료에 대한 암맹평가를 실시하였다. Swin Transformer 모델은 0.886의 정밀도와 0.875의 재현율로, 과탐지와 미탐지가 어느 한쪽으로 치우치지 않는 경향을 보였다. 딥러닝 기반 구름탐지는 향후 우리나라 중심의 실험을 거쳐 농림위성 영상에 활용될 수 있을 것으로 기대된다.

Sentinel-2 can be used as proxy data for the Korean Compact Advanced Satellite 500-4 (CAS500-4), also known as Agriculture and Forestry Satellite, in terms of spectral wavelengths and spatial resolution. This letter examined cloud detection for later use in the CAS500-4 based on deep learning technologies. DeepLabV3+, a traditional Convolutional Neural Network (CNN) model, and Shifted Windows (Swin) Transformer, a state-of-the-art (SOTA) Transformer model, were compared using 22,728 images provided by Radiant Earth Foundation (REF). Swin Transformer showed a better performance with a precision of 0.886 and a recall of 0.875, which is a balanced result, unbiased between over- and under-estimation. Deep learning-based cloud detection is expected to be a future operational module for CAS500-4 through optimization for the Korean Peninsula.

유출유는 해양 생태계에 큰 위협이 되므로 피해 최소화를 위해 신속한 현황정보파악이 필요하다. 위성원격탐사는 항공기에 비해 광역적 모니터링이 가능하기 때문에 시공간적 범위에서 장점을 가진다. 최근에는 딥러닝 영상인식 기술의 발전으로 인해 딥러닝을 활용한 유출유 탐지의 필요성이 대두되고 있으나, 기존의 Synthetic Aperture Radar (SAR) 영상 위주의 유출유 탐지와는 달리 고해상도 광학영상에 딥러닝 기법을 적용하는 경우는 많지 않았다. 이에, 본 연구에서는 PlanetScope 위성의 광학영상을 활용하여 유출유 레이블을 제작하고, 이를 기반으로 DeepLabV3+모델을 활용하여 유출유 탐지 모델을 구축하였으며, 암맹평가에서 정확도 0.885, 정밀도 0.888, 재현율 0.886, F1점수 0.883, 평균 교집합 대 합집합 비율(Mean Intersection over Union, mIOU) 0.793 등의 상당히 높은 정확도를 나타냈다.

Since oil spills can be a significant threat to the marine ecosystem, it is necessary to obtain information on the current contamination status quickly to minimize the damage. Satellite-based detection of marine oil spills has the advantage of spatiotemporal coverage because it can monitor a wide area compared to aircraft. Due to the recent development of computer vision and deep learning, marine oil spill detection can also be facilitated by deep learning. Unlike the existing studies based on Synthetic Aperture Radar (SAR) images, we conducted a deep learning modeling using PlanetScope optical satellite images. The blind test of the DeepLabV3+ model for oil spill detection showed the performance statistics with an accuracy of 0.885, a precision of 0.888, a recall of 0.886, an F1-score of 0.883, and a Mean Intersection over Union (mIOU) of 0.793.

최근 자율주행, 의료 영상 분석, 감시 기술 등의 발전으로 실시간 영상 분할 기술의 수요가 증가하고 있다. 이에 따라 실시간 영상 분할 방법의 연구가 활발히 진행되고 있으며, 심층 학습 기반 영상 분할 방법이 높은 성능 지표를 보이고 있다. 하지만 심층 학습에 사용되는 인공 신경망의 복잡한 구조와 막대한 연산량 및 매개변수 등으로 자원이 제한된 임베디드 플랫폼 등에 적용하기에는 많은 제약이 따른다. 이를 해결하기 위해 MobileNet과 같은 경량 분류 신경망을 영상 분할 신경망의 백본 신경망으로 사용하는 등 다양한 시도가 이어지고 있으나, 영상 분할 신경망의 매개변수와 연산량은 여전히 많기 때문에 자원이 제한된 환경에 적용하기에는 어려움이 있다. 따라서 경량 분류 신경망을 사용하더라도 추가적인 경량화가 필요한 실정이다. 이에 본 논문에서는 MobileNetV3-Large의 마지막 확장 계층을 생략하고 DeepLabv3+의 백본 신경망으로 사용하여 DeepLabv3+를 경량화하는 방법을 제안한다. 제안하는 방법의 활용성을 입증하기 위해 MobileNetV3-Large를 백본 신경망으로 사용한 구조, MobileNetV3-Small을 사용한 구조, MobileNetV3-Small의 마지막 확장 계층을 생략한 구조, MobileNetV3-Large의 하이퍼 파라미터를 통해 경량화한 구조들에 대하여 매개변수의 수와 성능을 비교하였다. 가장 높은 성능을 보인 MobileNetV3-Large를 백본 신경망으로 사용한 구조와 비교했을 때, 제안하는 방법이 적용된 구조는 2.7%p의 성능 하락만으로 매개변수를 약 52% 절감할 수 있었다. 따라서 제안하는 방법은 성능과 신경망 크기 간의 균형을 효과적으로 달성하여, 자원이 제한된 환경에서 실용적으로 활용될 수 있음을 확인하였다.

Recent advances in autonomous driving, medical image analysis, and surveillance technologies have led to an increasing demand for real-time image segmentation. Consequently, research on real-time segmentation methods has been actively pursued, with deep learning-based approaches demonstrating high performance metrics. However, the complex architectures, massive computational cost, and large parameter counts inherent in artificial neural networks impose significant constraints when deploying them on resource-limited embedded platforms. To address this issue, various attempts have been made, such as employing lightweight classification networks like MobileNet as backbone networks for segmentation models. Nevertheless, segmentation networks still involve substantial computational overhead and parameter size, making them difficult to apply in resource-constrained environments. Therefore, even when lightweight classification networks are used, further compression is necessary. In this paper, we propose a lightweight approach for DeepLabv3+ which MobileNetV3-Large without the last expansion layer as the backbone network. To demonstrate the effectiveness of the proposed method, we compare it with several DeepLabv3+ architectures whose backbone networks are MobileNetV3-Large, MobileNetV3-Small, MobileNetV3-Small without the last expansion layer, or MobileNetV3-Large compressed by hyperparameter tuning. Compared to the best performing architecture with MobileNetV3-Large as the backbone network, the structure with the proposed method can reduce the parameters by about 52% with only a 2.7%p performance decrease. Therefore, the proposed method effectively achieves the trade-off between performance and neural network size, which confirms that it can be practically utilized in resource-constrained environments.

This study aims to develop a deep learning-based crop classification to effectively assess the cultivation area expansion of paddy-grown soybeans in South Korea. As the cultivation area of paddy fields decreases and the cultivation of soybeans increases, accurately identifying the cultivation area of strategic crops has become crucial. To achieve this, we utilized high-resolution UAV imagery and the DeepLabv3+ deep learning algorithm. DeepLabv3+ can extract information from a wide receptive field, enabling high-accuracy classification and segmentation even in complex agricultural images. The results of this study indicate that the model can predict the cultivation area of soybeans with an accuracy of 94.86%, with a precision of 93.81% and a recall of 93.71%. This research is expected to provide valuable information for agricultural policy and crop management.

위성영상에서의 구름 탐지 및 제거는 지형관측과 분석을 위해 필수적인 과정이다. 임계값 기반의 구름탐지 기법은 구름의 물리적인 특성을 이용하여 탐지하므로 안정적인 성능을 보여주지만, 긴 연산시간과 모든 채널의 영상 및 메타데이터가 필요하다는 단점을 가지고 있다. 최근 활발히 연구되고 있는 딥러닝을 활용한 구름탐지 기법은 4개 이하의 채널(RGB, NIR) 영상만을 활용하고도 짧은 연산시간과 우수한 성능을 보여주고 있다. 본 논문에서는 해상도가 다른 이종 데이터 셋을 활용하여 학습데이터 셋에 따른 딥러닝 네트워크 성능 의존도를 확인하였다. 이를 위해 DeepLabV3+ 네트워크를 구름탐지의 채널 별 특징이 추출되도록 개선하고 공개된 두 이종 데이터 셋과 혼합 데이터로 각각 학습하였다. 실험결과 테스트 영상과 다른 종류의 영상으로만 학습한 네트워크에서는 낮은 Jaccard 지표를 보여주었다. 그러나 테스트 데이터와 동종의 데이터를 일부 추가한 혼합 데이터로 학습한 네트워크는 높은 Jaccard 지표를 나타내었다. 구름은 사물과 달리 형태가 구조화 되어 있지 않아 공간적인 특성보다 채널 별 특성을 학습에 반영하는 것이 구름 탐지에 효과적이므로 위성 센서의 채널 별 특징을 학습하는 것이 필요하기 때문이다. 본 연구를 통해 해상도가 다른 이종 센서의 구름탐지는 학습데이터 셋에 매우 의존적임을 확인하였다.

Cloud detection and removal from satellite images is an essential process for topographic observation and analysis. Threshold-based cloud detection techniques show stable performance because they detect using the physical characteristics of clouds, but they have the disadvantage of requiring all channels' images and long computational time. Cloud detection techniques using deep learning, which have been studied recently, show short computational time and excellent performance even using only four or less channel (RGB, NIR) images. In this paper, we confirm the performance dependence of the deep learning network according to the heterogeneous learning dataset with different resolutions. The DeepLabV3+ network was improved so that channel features of cloud detection were extracted and learned with two published heterogeneous datasets and mixed data respectively. As a result of the experiment, clouds' Jaccard index was low in a network that learned with different kind of images from test images. However, clouds' Jaccard index was high in a network learned with mixed data that added some of the same kind of test data. Clouds are not structured in a shape, so reflecting channel features in learning is more effective in cloud detection than spatial features. It is necessary to learn channel features of each satellite sensors for cloud detection. Therefore, cloud detection of heterogeneous sensors with different resolutions is very dependent on the learning dataset.

본 논문에서는 고해상도의 시계열 위성영상을 딥러닝 알고리즘으로 학습하여 도시 변화탐지를 수행한다. 고해상도 위성영상을 활용한 서비스는 4 차 산업혁명 융합 신사업 중 하나인 스마트시티에 적용하여 도시 노후화, 교통 혼잡, 범죄 등 다양한 도시 문제 해결 및 효율적인 도시를 구축하는데 활용이 가능하다. 이에 본 연구에서는 도시 변화탐지를 위한 딥러닝 알고리즘으로 DeepLabV3+를 사용한다. 이는 인코더-디코더 구조로, 공간 정보를 점진적으로 회복함으로써 더욱 정확한 물체의 경계면을 찾을 수 있다. 제안하는 방법은 DeepLabV3+의 레이어와 loss function 을 수정하여 기존보다 좋은 결과를 얻었다. 객관적인 성능평가를 위해, 공개된 데이터셋 LEVIR-CD 으로 학습한 결과로 평균 IoU 는 0.87, 평균 Dice 는 0.93 을 얻었다.

This study aimed to identify the most suitable algorithm for accurate and efficient real-time rice quantity detection on white serving trays to enhance personalized nutrition management and improve dietary quality and health. A real-time rice quantity detection system was developed using the DeepLabV3Plus network with various backbone architectures, including DenseNet121, DenseNet201, VGG16, VGG19, MobileNetV2, and MobileNetV3 Large. DeepLabV3Plus employed Atrous Convolutional Neural Networks (ACNNs) and Atrous Spatial Pyramid Pooling (ASPP). A total of 350 images of rice servings were used, with 70% for training and 30% for validation. Performance evaluation of the six backbone architectures revealed that DenseNet121 and DenseNet201 achieved the highest Mean Intersection over Union (mIOU) of 92.92%, while MobileNetV2 had the lowest at 87.70%. VGG16 demonstrated the highest computational efficiency. DenseNet201 was effective in detecting rice quantities up to 140 g, but accurate detection of larger quantities required additional height image data. All architectures achieved high top-1 validation accuracies (96.0%-96.4%), though training times varied significantly. This study emphasizes the importance of diverse training datasets and continuous model refinement to improve segmentation accuracy and efficiency. Integrating image data from top and side views is essential for detecting larger quantities. Enhanced nutrition management using deep learning in institutional food services could lead to increased operational efficiency, cost savings, and data-driven decision-making for inventory and menu planning.