Earticle

In this project, we present SpudScan, a comprehensive approach for the semantic segmentation of potato leaf diseases. Utilizing a custom dataset collected and meticulously annotated by our team, we trained and evaluated three state-of-the-art models: Segformer, Unet, and Deeplab V3. Our objective was to accurately identify and segment various disease-affected regions on potato leaves to facilitate early detection and treatment. Comparative analysis of the models highlights their respective strengths and weaknesses in terms of performance, processing time, and robustness. The results demonstrate significant potential for integrating deep learning techniques in agricultural disease management, paving the way for more efficient crop monitoring and health assessment.

최근 의미론적 세분화 작업에서 컨볼루션과 트랜스포머 기반의 다양한 딥러닝 모델이 제안되고 있다. 이러한 모델들 은 공개 벤치마크의 다양한 객체에 대해 주목할만한 성능을 보여준다. 그러나 우리는 전력선과 같이 전경과 배경의 비율이 과도하게 불균형하며 얇고 긴 객체에 대해 최신 모델조차도 분할에 실패하는 경향이 있음을 관찰한다. 본 논 문에서 우리는 전력선 인식을 위해 전력선 데이터 세트를 수집하고, 해당 데이터 세트에서 전력선 검출 실패에 대한 다음의 세 가지 원인이 있음을 발견한다. 1) 레이블링 작업의 어려움, 2) 대규모 훈련 데이터 세트의 부족, 3) 극도 로 불균형한 클래스 분포. 더 나아가, 우리는 해당 문제를 해결하기 위해 전력선 인식에 대해 높은 성능을 달성하는 모델 선택에 대한 기준과 훈련 전략을 제시한다. 실험 결과 제시된 학습 전략은 인식 작업에서 기준선 모델과 비교 해 20 mIoU 이상의 성능 향상을 달성한다.

Recently, various deep learning models based on convolution and transformer have been proposed for semantic segmentation tasks. These models show remarkable performance on a variety of objects on public benchmarks. However, we observe that even state-of-the-art models tend to fail in segmentation for thin and long objects with an excessively imbalanced foreground-background ratio, such as powerlines. In this paper, we collect a powerline dataset for powerline segmentation and identify three main causes for powerline segmentation failure in the dataset. 1) difficulty in labeling tasks, 2) lack of large training datasets, 3) extremely unbalanced class distribution. Furthermore, we present criteria for model selection and training strategies that achieve high performance for powerline segmentation. Our experimental results shows that the presented training strategy achevied an improvement of over 20 mIoU in the powerline segmentation task compared to the baseline model.

오늘날 정확한 노면 인식 시스템 구축을 위해서는 딥러닝 기반의 의미론적 객체분할 기술의 적용이 필수적이다. 하 지만 실세계에서 충분히 존재할 수 있는 야지 장면에서 노면인식을 위한 의미론적 객체분할 데이터 셋은 아직까지도 개발되지 않았고, 그렇기 때문에 의미론적 객체분할 기술이 야지 노면 인식 시스템에서 적용된 연구 사례도 매우 적 다. 우리는 이러한 문제를 해결하기 위하여 야지 환경에서의 노면 인식 데이터 셋을 구축하고, 지금까지 적용되지 못했던 의미론적 객체분할 기술들을 적용 및 최적하고 분석한다. 실험 결과 우리는 우리의 야지 노면 인식 데이터 셋에서 980FPS의 연산속도로 89.34 mIoU를 달성하였다.

Embedding technology into robot platforms is a very challenging task. In this work, we study a realistic road recognition system based on deep learning for robot embeddings. In particular, deep learning-based road recognition research is accessible with semantic segmentation techniques. However, Semantic segmentation datasets for road recognition also do not exist, and there are very few related studies. For this reason, developing algorithms for real-world platform configurations becomes very difficult. To solve problem, we build our own road recognition dataset in an outdoor environment and describe and analyze the realistic issues encountered while learning Road Recognition algorithms. Furthermore, we apply acceleration methodologies that are essential for robot embedding. As a result, we achieve road recognition accuracy of 89.34 mIoU and computational speed of 980 FPS.

RGB 영상과 Thermal 영상의 다중 모달리티의 활용은 악천후나 안개, 조명 환경 등으로 가시성이 저하되는 다양 한 상황에서 그 가치를 발휘한다. 이전 의미론적 분할 작업에서 RGB 영상에서 추출된 특징을 Thermal 영상의 특 징과 결합하는 방식으로 높은 인지 성능을 달성했지만, 모달리티의 특성에 따른 모델 가중치는 고려하지 않고 출력 된 특징을 결합했기 때문에 제한적인 성능을 보인다. 본 논문에서는 RGB 영상과 Thermal 영상을 학습하는 과정 에서 네트워크가 공통적인 가중치를 갖도록 구성하고, 손실 계산 단계에서 더 많은 정보를 가진 모달리티 특징이 다 른 모달리티를 이끌도록 구성하였다. 또한 상호보완적인 마스킹 모듈과 잔차 네트워크를 구성하여 FMB[1] 데이터 세트에서 12.25의 성능 향상을 이뤘다.

Utilizing the multi-modality of RGB and thermal images is valuable in various situations where visibility is reduced due to bad weather, fog, or lighting conditions. In previous semantic segmentation work, high recognition performance has been achieved by combining features extracted from RGB images with features from thermal images, but the performance is limited because the output features are combined without considering the model weights according to the characteristics of the modalities. In this paper, we configure the networks to have common weights during the learning process of RGB and Thermal images, and configure the modality features with more information to lead the other modalities in the loss calculation step. We also configure complementary masking modules and residual networks to achieve a performance improvement of 12.25 on the FMB dataset.

자율 주행 차량에서 멀티모달 기반 의미론적 세분화 작업은 저조도 및 빛 번짐과 같은 제한적인 환경에서도 주행로 를 인식하고 장애물을 회피하기 위한 기본 기능이다. 이를 위해 제안된 기존의 멀티모달 기반 의미론적 세분화 모델 들은 장면 인식을 위해 가시 카메라의 RGB 영상과 열화상 카메라의 Thermal 영상을 사용하여 장면을 인식한다. 그러나 기존의 모델들은 서로 다른 두 모달리티에서 입력되는 영상이 어떠한 경우에도 훼손되지 않는다는 것을 가정 한다. 본 논문에서 우리는 최첨단 멀티모달 기반 의미론적 세분화 모델 조차 모달리티 가려짐과 같은 강력한 모달리 티 훼손 조건에서 단일 모달리티 성능을 유지하지 못하고 극도의 성능 저하에 직면하는 것을 발견한다. 더 나아가, 우리는 해당 문제를 해결하기 위해 모달리티 누락을 대비한 단일 모달리티 안정화 학습을 제안한다. 실험 결과 제안 된 방법은 극도의 모달리티 훼손 조건에서도 기준선 모델에 비해 최대 8.9 mIoU의 성능 향상을 달성한다.

In autonomous vehicles, multimodal-based semantic segmentation is a basic function for recognizing driving area and avoiding obstacles even in limited environments such as low light condition and blurry light. To achieve this, the proposed existing multimodal-based semantic segmentation models recognize the scene using RGB images from visible cameras and thermal images from thermal cameras. However, the existing models assume that the images captured from the two different modalities are not corrupted in any case. In this paper, we found that even the state-of-the-art multi-modal based semantic segmentation models fail to maintain single modality performance in strong modality corruption, such as modality occlusion. Furthermore, we propose single modality stabilization learning in preparation for missing modality to solve this problem. Our experimental results show that the proposed method achieves a performance improvement of up to 8.9 mIoU compared to the baseline model even under extreme modality-damaging conditions.

자동차 번호판 인식은 지능형 교통시스템에서 핵심적인 역할을 담당한다. 따라서 효율적으로 자동차 번호판의 숫자 및 문자영역을 검출하는 것은 매우 중요한 과정이다. 본 연구에서는 딥러닝과 의미론적 영상분할 알고리즘을 적용 하여 효과적으로 자동차 번호판의 번호영역을 검출하는 방법을 제안한다. 제안된 방법은 화소 투영과 같은 전처리과정 없이 번호판 영상에서 바로 숫자 및 문자영역을 검출하는 알고리즘이다. 번호판 영상은 도로 위에 설치된 고정 카메라로 부터 획득한 영상으로 날씨 및 조명변화 등을 모두 포함한 다양한 실제 상황에서 촬영된 것을 사용하였다. 입력 영상은 색상변화를 줄이기 위해 정규화하고 실험에 사용된 딥러닝 신경망 모델은 Vgg16, Vgg19, ResNet18 및 ResNet50이 다. 제안방법의 성능을 검토하기 위해 번호판 영상 500장으로 실험하였다. 학습을 위해 300장을 할당하였으며 테스트용 으로 200장을 사용하였다. 컴퓨터모의 실험결과 ResNet50을 사용할 때 가장 우수하였으며 95.77% 정확도를 얻었다.

License plate recognition plays a key role in intelligent transportation systems. Therefore, it is a very important process to efficiently detect the number and character areas. In this paper, we propose a method to effectively detect license plate number area by applying deep learning and semantic image segmentation algorithm. The proposed method is an algorithm that detects number and text areas directly from the license plate without preprocessing such as pixel projection. The license plate image was acquired from a fixed camera installed on the road, and was used in various real situations taking into account both weather and lighting changes. The input images was normalized to reduce the color change, and the deep learning neural networks used in the experiment were Vgg16, Vgg19, ResNet18, and ResNet50. To examine the performance of the proposed method, we experimented with 500 license plate images. 300 sheets were used for learning and 200 sheets were used for testing. As a result of computer simulation, it was the best when using ResNet50, and 95.77% accuracy was obtained.

의미론적 영상 분할을 위한 컨볼루션 신경망 기반 접근 방식은 픽셀 단위 레이블을 통한 지도 학습에 의존한다. 하 지만 접근 불가능한 도메인으로 일반화되지 않을 수 있는 문제점이 존재한다. 의미론적 영상 분할에서 모든 데이터 에 사람이 직접 레이블을 지정하는 작업은 노동 집약적이기 때문에 소량의 라벨링 데이터를 이용해 네트워크의 일반 화 성능을 향상시키는 것은 매우 중요하다. 본 논문에서는 가상 도메인과 현실 도메인 사이의 교차 도메인 혼합 샘 플링을 활용한 도메인 적응 학습 방법을 제안한다. 이를 위하여 혼합 샘플링 방법의 대표적인 기법을 분석하고 활용 하여 도메인 적응 문제에 적용하고 일반화 성능을 비교한다. 제안하는 학습 방법을 통해 학습된 네트워크는 도메인 적응 문제에서 정량적 수치와 정성적 결과 모두 기준 모델을 능가하는 성능을 보인다.

In semantic segmentation, a convolutional neural network-based approach relies on supervised learning through pixel-level labels. However, there is a problem that may not be generalized to other inaccessible domains. Therefore, it is very important to improve the generalization performance of the network using a small amount of labeling data because it is labor intensive to manually label all data. In this paper, we propose a domain adaptive learning method using cross-domain mixed sampling between the synthetic domain and the real-world domain. To this end, we analyze and utilize the representative techniques of the mixed sampling method, apply them to the domain adaptation problem, and compare the generalization performance. The network trained through the proposed learning method outperforms the baseline model in both quantitative and qualitative results in domain adaptation problems.

본 논문에서 온라인 쇼핑몰에 적용을 목적으로 2차원 이미지에 기반한 가상 의상 착용 알고리즘 을 설계하고 개발하였다. 기존의 가상착용 시스템은 3차원 의상 및 사용자 정보에 기반하여 비용 과 시간이 많이 들어가는 문제를 가지고 있다. 본 시스템은 최근 급격히 발전된 딥러닝기술과 컴 퓨터 그래픽스 기술을 활용한다. 우선, 패션영상을 시멘틱 분할 네트워크를 사용하여 옷과 신체 를 영상분할하고, 자세 네트워크를 사용하여 의상과 사용자의 골격정보를 확보 한다. 이 두 가지 정보를 바탕으로 의상의 골격위치와 사용자의 골격위치를 일치시킴으로서 변형에 필요한 변수를 확보하고 이를 바탕으로 영상 변형을 하여 가상착용을 수행한다. 실험결과 단순한 기하형태의 옷 과 선 자세를 유지하는 패션사진과 사용자사진의 경우 만족스러운 변형 결과를 얻을 수 있었으 나 다양한 의상의 형태나 자세를 갖는 경우 원만한 착용결과를 얻을 수 없었다. 완벽한 시스템은 존재할 수 없으므로 현재 기술로 적용 가능한 의상의 범위와 문제 상황을 자세히 분석하여. 이를 바탕으로 추후 연구를 방향을 설정할 수 있도록 하였다.

We present an 2D image-based Virtual Try-On (VTON) system applicable to online shopping. The proposed method and system eliminate the need for the 3-D information requirement of clothes and humans, leveraging the recent advance in DNN-based image processing and computer graphics technology. In the first step, the cloth images are parsed into clothes and parts of a human body with a semantic segmentation network. And the pose or joint information of the cloth and human images are extracted using a pose estimation network. In the second step, the segmented cloth and joint information are jointly used for matching and deforming the cloth images onto a target human image. From our full implementation and preliminary trial, many successful result with from simple shaped and posed cloths and pose images demonstrates the feasibility of VTON system. However, we also observed many failed cases due to the diverse cloth and poses. We discuss the causes of failures to identify the applicable area of the current state-of-the art technology for commercial level VTON, and long term key problems for a future VTON system.

Gabor filters well support computer vision tasks due to its steerable properties, that are useful for handling image transformation such as? image rotation and image scaling. In this paper, the Gabor-based UNet (GSAUNet) model is proposed where the Gabor filters replace the few default filters in the UNet. Besides, it has adopted a squeeze-and-excitation module to increase channel interdependencies and attention mechanism to focus on an important part of the network. The performance of GSAUNet is assessed on the CamVid and Cityscape datasets that attain improvement for the semantic segmentation tasks.

Continual Test-Time Adaptation (CTTA) is essential for adapting models to target data in changing environments while retaining prior knowledge. However, previous methods overlook class imbalance, which limits performance on minor but essential objects. To address this, we propose AdaCoTTA, which applies confidence-guided adaptive learning to improve training stability. These mechanisms mitigate class imbalance, catastrophic forgetting, and error accumulation in CTTA. We evaluate AdaCoTTA on diverse CTTA benchmarks for semantic segmentation. It achieves state-of-the-art performance, improving average mIoU by 0.6% on ACDC and over 4% for minor classes, highlighting its effectiveness in scenarios. Code is available at?https://github.com/junghyeon0427/AdaCoTTA.

Deep convolution neural networks are the recent algorithms used for robotic vision. However, the complex crop?weed vegetation and the background interferences required a robust feature representation. Therefore, we proposed a Dual-branch Deep neural network for the semantic segmentation of crops and weeds. The branches utilized distinct feature extraction algorithms that extract essential semantic cues, and a decoder combined these features to improve the global contextual information. Finally, the hybrid feature selection module(HSFM) utilized the decoder features to complement one another. Experimental results show the proposed method obtained mean intersection of union scores of 0.8613 and 0.9099 on CWFID and BoniRob datasets, respectively.

차선이탈경고시스템(LDWS)은 첨단운전자지원시스템(ADAS)의 핵심 기능으로, 비의도적 차선 이탈을 탐지하여 사고를 예방한다. 그러나 기존의 에지 검출이나 허프 변환 기반 기법은 조명 변화, 차선 마모, 복잡한 도로 조건에서 한계가 있다. 본 연구는 딥러닝 기반 차선 세그멘테이션과 역원근 투영(IPM) 변환을 통합하여 LDWS 성능을 개선하는 방법을 제안한다. CamVid 데이터셋을 활용해 SegNet과 U-Net을 학습시켰으며, 결과를 탑뷰 영상으로 변환한 뒤 ResNet18 분류기를 통해 전처리 시나리오를 비교하였다. 실험 결과, U-Net이 SegNet보다 우수한 세그멘테이션 성능을 보였고, IPM 적용 시 분류 정확도가 크게 향상되었다. 특히 세그멘테이션 ROI와 IPM을 결합했을 때 최고 F1-score를 달성하여 균형 잡힌 검출 성능을 입증하였다. 따라서 제안 방법은 LDWS의 정확도와 강 인성을 향상시키는 효과적인 접근임을 확인하였다.

The Lane Departure Warning System (LDWS), a core function of Advanced Driver Assistance Systems (ADAS), prevents accidents by detecting unintended lane departures. Traditional methods based on edge detection or Hough transform are limited to illumination changes, lane fading, and complex roads. This study proposes integrating deep learning–based lane segmentation with Inverse Perspective Mapping (IPM) to improve LDWS performance. A SegNet and U-Net segmentation model was trained using the CamVid dataset, and the outputs were converted into top-view images, which were then evaluated with a ResNet18 classification model. The results show that U-Net achieved a higher level of segmentation accuracy, and IPM significantly improved classification accuracy. The combination of segmentation ROI and IPM yielded the best F1-score, confirming the effectiveness of the proposed approach for enhancing LDWS accuracy and robustness.