Earticle

Facial emotion recognition (FER) has gained increasing attention in human–computer interaction and affective computing; however, existing methods often suffer from high computational cost and limited generalization, especially in real-world scenarios with subtle expressions and noisy inputs. To cope with these issues, this study proposes a knowledge distillation-based framework for FER. The teacher network utilizes a parallel architecture of NasNetMobile and MobileNet as dual backbones for comprehensive feature extraction, further, these features are enhanced by a Deformable Attention (DA) module, which primarily focuses spatial feature representations. To transfer this rich knowledge effectively, we introduce a lightweight student model, TinyNasNet, inspired by the internal architecture of NasNetMobile. In this framework, the student model is trained to mimic the behavior of the teacher network, aiming to achieve higher performance while maintaining computational complexity. Moreover, extensive experiments were conducted over two benchmarks, such as FER and KDEF. In contrast, the proposed network offers higher performance compared to various competitive networks, demonstrating a highly efficient yet robust solution for real-time FER.

Automated speech emotion recognition (SER) by efficient long-term temporal context modeling is a challenging task of the digital audio signal processing domain. However, by default, the recurrent neural network (RNN) is employed to incorporate the temporal dependencies in sequence to investigate the relationships among sequences and features. In this study, we design a parallel convolutional neural network (PCNN) for SER by using a squeeze and excitation network (SEnet) with the self-attention module. Additionally, we adopt the residual learning strategy in both module, SEnet and self-attention, which is further improve the performance of the network. Our proposed SER system utilizes speech spectrogram as input and extracts utterancelevel discrete features by using the PCNN model. We experimentally evaluated our proposed system by standard speech corpus, interactive emotional dyadic motion capture (IEMOCAP). The prediction result reveals the significance and robustness of the proposed PCNN system, which obtained a high recognition rate of 72.01% over state-of-the-art (SOTA) methods.

최근, 실시간으로 카메라를 통해 동작을 인식하는 기술의 연구가 많이 진행되고 있다. 기존의 연구들에서는 사람 의 관절로부터 특징을 추출하는 개수가 적기 때문에 동작 분류의 정확도가 낮은 한계점들이 있다. 본 논문에서는 이러한 한계점들을 해결하기 위해 움직일 때 변하는 관절의 각도를 특징 추출하여 계산하는 알고리즘과 이미지 분류 시에 정확 도가 높은 CBAM(Convolutional Block Attention Module)을 사용한 분류모델을 제안한다. AI Hub에서 제공하는 피트니스 자세 이미지로부터 5가지 운동 동작 이미지를 인용하여 분류 모델에 적용한다. 구글에서 제공하는 그래프 기반 프레임워크인 MediaPipe 기법을 사용하여, 이미지로부터 운동 동작 분류에 중요한 8가지 관절 각도 정보를 추가적으로 추출한다. 추출한 특징들을 모델의 입력으로 설정하여, 분류 모델을 학습시킨다. 시뮬레이션 결과로부터 제안한 모델은 높은 정확도로 운동 동작을 구분하는 것을 확인할 수 있다.

Gesture recognition analytics through a camera in real time have been widely studied in recent years. Since a small number of features from human joints are extracted, low accuracy of classifying models is get in conventional gesture recognition studies. In this paper, CBAM (Convolutional Block Attention Module) with high accuracy for classifying images is proposed as a classification model and algorithm calculating the angle of joints depending on actions is presented to solve the issues. Employing five exercise gestures images from the fitness posture images provided by AI Hub, the images are applied to the classification model. Important 8-joint angles information for classifying the exercise gestures is extracted from the images by using MediaPipe, a graph-based framework provided by Google. Setting the features as input of the classification model, the classification model is learned. From the simulation results, it is confirmed that the exercise gestures are classified with high accuracy in the proposed model.

The generalized additive model (GAM) is a flexible statistical tool adept at unraveling complex relationships in datasets. Deep neural networks (DNNs) stand out as robust and versatile models that perform exceptionally well across various computational challenges. In this study, we introduce DeepGAM, an innovative model that leverages the feature-learning capabilities of DNNs while maintaining the interpretability inherent to GAM. This hybrid model is designed to learn a linear combination of neural networks, with each network focusing on a single predictor variable and incorporating a self-attention mechanism to highlight critical features. By training the networks in unison, DeepGAM proficiently maps the nuanced connections between predictors and outcomes. By conducting a comprehensive numerical analysis that encompasses regression and classification tasks, the efficiency and versatility of DeepGAM in addressing diverse analytical problems are validated.

컴퓨터 비전의 하위 태스크(Task)인 의미론적 분할(Semantic Segmentation)은 자율주행, 해상에서 선박찾기 등 다양한 분야에서 연구되고 있다. 기존 FCN(Fully Conovlutional Networks) 기반 의미론적 분할 모델은 다운샘플링(Dowsnsampling)과정에서 공간정보의 손실이 발생하여 정확도가 하락했다. 본 논문에서는 공간정보 손실을 완화하고자 PSA(Polarized Self-attention)의 공간정보 강조 모듈을 HRNet(High-resolution Networks)의 합성곱 블록 사이에 추가한다. 실험결과 파라미터는 3.1M, GFLOPs는 3.2G 증가했으나 mIoU는 0.26% 증가했다. 공간정보가 의미론적 분할 정확도에 영향이 미치는 것을 확인했다.

최근 소개된 트랜스포머(Transformer)를 이용한 이미지 분류 방법들은 기존 합성곱 신경망 기반 방법 대비 괄목할 만한 성능 향상을 보여주고 있다. 지역적 특성을 효과적으로 고려하기 위해 이미지 영역을 복수의 윈도우 영역으로 나누어 트랜스포머를 적용하는 방법에 대한 연구가 활발히 진행되어 왔으나, 윈도우 간 관계 및 중요도에 대한 학습은 여전히 부족한 상황이다. 본 논문에서는 이러한 문제점을 극복하기 위해 각 윈도우의 중요도를 학습에 반영할 수 있는 트랜스포머 구조를 제안한다. 제안하는 방법은 각 윈도우 영역에 대한 자기주의(Self-attention) 연산을 기반으로 압축과 완전 연결 계층(Fully Connected Layer)을 통해 각 윈도우 영역의 중요도를 계산한다. 계산된 중요도는 윈도우 영역들 간의 관계를 학습한 가중치로써 각 윈도우 영역에 곱해져 특징 값을 재조정 한다. 실험 결과를 통해 제안하는 방법이 기존 트랜스포머 기반 방법의 성능을 효과적으로 향상 시킬 수 있음을 보인다.

Recently introduced image classification methods using Transformers show remarkable performance improvements over conventional neural network-based methods. In order to effectively consider regional features, research has been actively conducted on how to apply transformers by dividing image areas into multiple window areas, but learning of inter-window relationships is still insufficient. In this paper, to overcome this problem, we propose a transformer structure that can reflect the relationship between windows in learning. The proposed method computes the importance of each window region through compression and a fully connected layer based on self-attention operations for each window region. The calculated importance is scaled to each window area as a learned weight of the relationship between the window areas to re-calibrate the feature value. Experimental results show that the proposed method can effectively improve the performance of existing transformer-based methods.

In the field of automatic target recognition(ATR) with synthetic aperture radar(SAR) imagery, it is usually impractical to obtain SAR target images covering a full range of aspect views. When the database consists of SAR target images with limited angular diversity, it can lead to performance degradation of the SAR-ATR system. To address this problem, this paper proposes a deep learning-based method where channel attention modules(CAMs) are inserted to a convolutional neural network(CNN). Motivated by the idea of the squeeze-and-excitation(SE) network, the CAM is considered to help improve recognition performance by selectively emphasizing discriminative features and suppressing ones with less information. After testing various CAM types included in the ResNet18-type base network, the SE CAM and its modified forms are applied to SAR target recognition using MSTAR dataset with different reduction ratios in order to validate recognition performance improvement under the limited angular diversity condition.

As the risk of lung cancer has increased, early-stage detection and treatment of cancers have received a lot of attention. Among various medical imaging approaches, computer tomography (CT) has been widely utilized to examine the size and growth rate of lung nodules. However, the process of manual examination is a time-consuming task, and it causes physical and mental fatigue for medical professionals. Recently, many computer-aided diagnostic methods have been proposed to reduce the workload of medical professionals. In recent studies, encoder-decoder architectures have shown reliable performances in medical image segmentation, and it is adopted to predict lesion candidates. However, localizing nodules in lung CT images is a challenging problem due to the extremely small sizes and unstructured shapes of nodules. To solve these problems, we utilize atrous spatial pyramid pooling (ASPP) to minimize the loss of information for a general U-Net baseline model to extract rich representations from various receptive fields. Moreover, we propose mixed-up attention mechanism of reverse, boundary and convolutional block attention module (CBAM) to improve the accuracy of segmentation small scale of various shapes. The performance of the proposed model is compared with several previous attention mechanisms on the LIDC-IDRI dataset, and experimental results demonstrate that reverse, boundary, and CBAM (RB-CBAM) are effective in the segmentation of small nodules.

의미론적 분할(Semantic Segmentation)은 이미지 내의 객체 및 배경을 픽셀 단위로 분류하는 작업으로 정밀한 탐지가 요구되는 분야에서 활발히 연구되고 있다. 기존 어텐션 기법은 의미론적 분할의 다운샘플링(Downsampling) 과정에서 발생하는 정보손실을 완화하기 위해 널리 사용됐지만 고정된 Convolution 필터의 형태 때문에 객체의 형태에 따라 유동적으로 대응하지 못했다. 본 논문에서는 이를 보완하고자 Deformable Convolution과 셀프어텐션(Self-attention) 구조기반 어텐션 모듈을 사용한 의미론적 분할 모델을 제안한다.

객체 검출 알고리즘은 자율주행 시스템 구현을 위한 핵심 요소이다. 최근 심층 합성곱 신경망 (Deep Convolutional Neural Network) 기반의 영상 인식 기술이 발전함에 따라 심층 학습을 이용한 객체 검출 관련 연구들이 활발히 진행되고 있다. 본 논문에서는 객체 검출에 가장 널리 사용되고 있는 Mask R-CNN의 경량화 모델을 제안하여 도로 내 다양한 객체들의 위치와 형태를 효율적으로 예측하는 방법을 제안한다. 또한, 주의 모듈(Attention Module)을 Mask R-CNN 내 각각 다른 역할을 수행하는 신경망 계층에 적용함으로써 특징 지도를 적응적으로 재교정(Re-calibration)하여 검출 성능을 향상시킨다. 실제 주행 영상에 대한 다양한 실험 결과를 통해 제안하는 방법이 기존 방법 대비 크게 감소된 신경망 매개변수만을 이용하여 고성능 검출 성능을 유지함을 보인다.

Object detection plays a crucial role in a self-driving system. With the advances of image recognition based on deep convolutional neural networks, researches on object detection have been actively explored. In this paper, we proposed a lightweight model of the mask R-CNN, which has been most widely used for object detection, to efficiently predict location and shape of various objects on the road environment. Furthermore, feature maps are adaptively re-calibrated to improve the detection performance by applying an attention module to the neural network layer that plays different roles within the mask R-CNN. Various experimental results for real driving scenes demonstrate that the proposed method is able to maintain the high detection performance with significantly reduced network parameters.

컴퓨터 단층촬영(Computed Tomography; CT)은 질병 진단과 치료 계획 수립에 있어 핵심적인 역할을 수행한다. 고선량의 방사선을 사용한 CT 촬영은 고품질의 영상을 제공하지만, 이는 환자의 방사선 피폭 위험을 증가시키는 단점이 존재한다. 이에 따라 저선량 CT 영상 촬영이 요구되며, 이로 인해 영상 품질 저하 및 노이즈 증가가 불가피하게 발생한다. 이러한 영상 노이즈는 영상의 구조적 해석을 저해하고 진단 정확도에 부정적인 영향을 미치므로, 효과적인 노이즈 제거 기법이 필수적이다. 최근 딥러닝을 활용한 의료 영상 노이즈 제거 및 복원 기법이 활발히 연구되고 있다. 하지만 기존 방법은 중요한 구조적 특징을 충분히 반영하지 못하는 한계가 존재한다. 이를 극복하기 위해 주의 메커니즘(Attention Mechanism)에 기반한 CBAM(Convolutional Block Attention Module)을 도입하였다. CBAM은 채널 및 공간적 특성 정보를 동시에 고려하여 영상 내 중요한 특징을 강조하고 불필요한 정보를 억제하는 방식으로 작동한다. 본 연구에서는 이를 U-Net 구조에 결합함으로써 CT 영상에서의 노이즈 제거 성능을 향상시키고자 하였다. 제안된 모델의 성능 평가는 기존의 단일 U-Net 모델 및 Wavelet 기반 U-Net 모델과 비교하여 수행되었으며, 평가 지표로 PSNR(Peak Signal-to-Noise Ratio)과 SSIM(Structural Similarity Index)을 사용하였다. 실험은 노이즈의 표준편차를 0.01에서 0.1까지 0.01 단위로 증가시키는 다양한 조건에서 진행되었고, 최대 노이즈 조건에서 제안된 모델은 기존 U-Net 대비 PSNR은 약 12.84%, SSIM은 약 20.81% 향상되었으며, Wavelet 기반 U-Net 모델 대비 PSNR은 약 4.41%, SSIM은 약 12.73% 향상된 결과를 보였다. 본 연구는 주의 메커니즘 기반의 CBAM이 CT 영상의 중요한 구조 정보를 효과적으로 보존하며, 복잡한 노이즈 환경에서도 안정적이고 우수한 복원 성능을 제공함을 입증한다. 또한 제안한 모델이 저선량 CT 영상의 화질 저하를 완화하고, 방사선 피폭 저감 및 진단 신뢰도 향상에 기여할 수 있는 가능성을 제시한다.

Computed Tomography (CT) is an essential tool in disease diagnosis and treatment planning. While high-dose CT imaging ensures high-quality images, it poses increased radiation risks to patients. To mitigate this risk, low-dose CT imaging is widely adopted, albeit at the cost of increased noise and reduced image quality. This degradation hampers anatomical interpretation and lowers diagnostic accuracy, necessitating effective denoising techniques. Recently, deep learning-based approaches have shown promise in medical image denoising and restoration. However, many existing models struggle to retain critical structural information. To address this, we propose a CT denoising model that incorporates the Convolutional Block Attention Module (CBAM), an attention mechanism that enhances salient features by combining channel and spatial attention. CBAM was selectively embedded into the early encoder layers of a U-Net architecture to reduce computational cost while focusing on low-level feature refinement. The model's performance was evaluated against a standard U-Net and a Wavelet-based U-Net using Peak Signal-to-Noise Ratio (PSNR) and Structural Similarity Index (SSIM) as evaluation metrics. Experiments were conducted with varying levels of Gaussian noise, with standard deviations ranging from 0.01 to 0.1. At the highest noise level, the proposed model showed approximately 12.8% and 20.8% improvement in PSNR and SSIM, respectively, over the standard U-Net, and 4.4% and 12.7% improvements over the Wavelet-based U-Net. These results demonstrate that CBAM-based attention effectively preserves anatomical structures while reducing noise in CT images. This approach holds promise for future integration with super-resolution and clinical image restoration frameworks.

딥러닝 기술의 진보와 함께 다양한 국내외 고해상도 원격탐사 영상의 활용이 가능함에 따라 딥러닝 기술과 원격탐사 빅데이터를 활용하여 도심 지역 건물 검출과 변화탐지에 활용하고자 하는 관심이 크게 증가하고 있다. 본 논문에서는 고해상도 원격탐사 영상의 의미론적 건물 분할을 위해서 건물 분할에 우수한 성능을 보이는 DeepResUNet 모델을 기본 구조로 하고 잔차 학습 단위를 개선하고 Convolutional Block Attention Module(CBAM)을 결합한 새로운 건물 분할 모델인 CBAM-DRUNet을 제안한다. 제안한 건물 분할 모델은 WHU 데이터셋과 INRIA 데이터셋을 이용한 성능 평가에서 UNet을 비롯하여 ResUNet, DeepResUNet 대비 F1 score, 정확도, 재현율 측면에서 모두 우수한 성능을 보였다.

As deep learning technology advances and various high-resolution remote sensing images are available, interest in using deep learning technology and remote sensing big data to detect buildings and change in urban areas is increasing significantly. In this paper, for semantic building segmentation of high-resolution remote sensing images, we propose a new building segmentation model, Convolutional Block Attention Module (CBAM)-DRUNet that uses the DeepResUNet model, which has excellent performance in building segmentation, as the basic structure, improves the residual learning unit and combines a CBAM with the basic structure. In the performance evaluation using WHU dataset and INRIA dataset, the proposed building segmentation model showed excellent performance in terms of F1 score, accuracy and recall compared to ResUNet and DeepResUNet including UNet.