Earticle

본 논문에서는 효율적인 사물 이미지 분류를 위한 계층적 이미지 분류 체계 방안에 대해 제안한다. 기존의 전체 이미지를 한 번에 분류하는 무 계층 이미지 분류에서는 상대적으로 유사한 모양을 가진 사물은 효율적으로 인식하지 못하는 모습을 보 여줬다. 따라서 본 논문에서는 사물 이미지에 대해 계층적으로 분류를 시도하는 단계적 계층 구조에서의 이미지 분류 기법을 소개한다. 또한, 실제 시스템에 딥 러닝 이미지 분류가 적용되었을 때 발생할 수 있는 확장성에 대해서 고려하기 위해 확장성 이 고려된 효율적인 클래스 구성 방식과 알고리즘도 소개한다. 이와 같은 방식은 상대적으로 유사한 형태를 보인 사물 이미지 에 대해 더 높은 신뢰도로 이미지를 분류하는 것을 가능하게 한다.

In this paper, we propose a hierarchical image classification scheme for efficient object image classification. In the non-hierarchical image classification, which classifies the existing whole images at one time, it showed that objects with relatively similar shapes are not recognized efficiently. Therefore, in this paper, we introduce the image classification method in the hierarchical structure which attempts to classify object images hierarchically. Also, we introduce to the efficient class structure and algorithms considering the scalability that can occur when a deep learning image classification is applied to an actual system. Such a scheme makes it possible to classify images with a higher degree of confidence in object images having relatively similar shapes.

엔트리, Machine Learning for Kids, Teachable Machine과 같이 블록 기반 프로그래밍 언어에서 활용할 수 있도록 인공지능을 간단히 학습시킬 수 있는 다양한 플랫폼들이 존재한다. 그러나 이와 같은 플랫폼들은 별도의 메뉴를 통해 인공지능 학습을 진행한 다음, 학습된 모델을 코드 에디터에서 활용하는 방식을 따르고 있다. 이와 같은 방식은 학습되는 과정을 학생들이 더 직관적으로 살펴볼 수 있다는 장점이 있지만, 학습 메뉴와 코드 에디 터를 모두 활용해야 한다는 단점도 존재한다. 본 논문에서는 코드 에디터에서 인공지능 학습과 코딩을 모두 진 행할 수 있는 인공지능 블록을 개발한다. 본 인공지능 블록은 스크래치 블록으로 제시되지만 실제 학습 과정은 파이썬 서버를 통해 수행된다. 파란색 펜과 빨간색 펜을 분류하는 모델, 덴탈 마스크와 KF94 마스크를 분류하는 모델을 학습하는 과정을 통해 본 블록에 대해 상세히 기술한다. 또, 학습 성능 면에서 Teachable Machine와 큰 차이가 없음을 실험적으로 나타내었다.

There are various educational programming environments in which students can train artificial intelligence (AI) using block-based programming languages, such as Entry, Machine Learning for Kids, and Teachable Machine. However, these programming environments are designed so that students can train AI through a separate menu, and then use the trained model in the code editor. These approaches have the advantage that students can check the training process more intuitively, but there is also the disadvantage that both the training menu and the code editor must be used. In this paper, we present a novel artificial intelligence block that can perform both AI training and programming in the code editor. While this AI block is presented as a Scratch block, the training process is performed through a Python server. We describe the blocks in detail through the process of training a model to classify a blue pen and a red pen, and a model to classify a dental mask and a KF94 mask. Also, we experimentally show that our approach is not significantly different from Teachable Machine in terms of performance.

본 논문은 딥 러닝(Deep-Learning) 기반의 계층형 이미지 분류 체계와 가중치 기반의 랭킹 시스템을 이용한 사용자 편의 중심의 유실물 등록 및 조회 관리 시스템을 제안한다. 제안된 시스템은 딥 러닝을 통해 이미지를 자동으로 분류하는 계층형 이미지 분류 시스템과 조회 과정의 편의를 위해 시스템상의 등록된 유실물 정보를 고려해 가중치 순으로 정렬하는 랭킹 시스 템 모듈로 구성된다. 등록 과정에서 한 장의 사진만으로 카테고리 분류와 브랜드, 연관 태그 등 여러 정보가 자동으로 인식되 어 사용자의 번거로움을 최소화하였다. 그리고 랭킹 시스템을 통해 사용자들이 자주 찾는 유실물을 상위에 노출함으로써 유실 물 검색의 효율성을 높였다. 실험 결과, 제안된 시스템은 사용자가 쉽고 편리하게 시스템을 이용할 수 있음을 확인하였다.

In this paper, we propose an user-centered integrated lost-goods management system through a ranking system based on weight and a hierarchical image classification system based on Deep Learning. The proposed system consists of a hierarchical image classification system that automatically classifies images through deep learning, and a ranking system modules that listing the registered lost property information on the system in order of weight for the convenience of the query process.In the process of registration, various information such as category classification, brand, and related tags are automatically recognized by only one photograph, thereby minimizing the hassle of users in the registration process. And through the ranking systems, it has increased the efficiency of searching for lost items by exposing users frequently visited lost items on top. As a result of the experiment, the proposed system allows users to use the system easily and conveniently

최근 패션 업계에서는 딥러닝 기술을 활용한 개인화 추천 서비스에 대한 관심이 증가하고 있다. 그러나 현재 대부분의 추천 시스템은 단일 상품 중심이거나 제한된 속성 정보에 의존하는 방식으로, 스타일 간의 조화를 고려한 조합 추천에는 한계가 존재한다. 본 연구는 이러한 한계를 해결하고자, 딥러닝 기반 이미지 분류 모델을 활용하여 상품의 스타일 확률 벡터를 생성하고, NSGA-II 기반 다목적 최적화 기법을 적용하여 스타일 유사성과 사용자 만족도를 고려한 최적의 패션 스타일 조합을 제안한다. 실험은 AI-Hub의 K-Fashion 데이터셋과 “A”사의 플랫폼에서 수집한 실제 상품 데이터를 활용하였으며, 이미지 분류에는 ViT-B/16, ResNet-50, EfficientNet-B0 세 가지 모델을 비교하였다. 그 결과, 가장 높은 분류 정확도를 보인 ViT-B/16 모델을 기반으로 스타일 벡터를 생성하고 최적화에 적용하여 최적의 조합을 도출하였다.

Deep learning technologies are increasingly being used to create personalized recommendation services in the fashion industry. However, many recommendation systems focus on suggesting a single item based on limited attribute information, which makes it difficult to suggest well-coordinated and harmonized outfits. To address this limitation, this study proposes an optimized fashion coordination system. The system supports style probability vectors from deep learning-based image classification models and adopts a multi-objective optimization approach based on NSGA-II. With the experiment results, the system aims to suggest item combination methodologies which effectively address both style similarity and user satisfaction. For this purpose, this study conducted experiments using the AI-Hub K-Fashion dataset and real-world product data collected from the “A” company’s platform. Three analysis models—ViT-B/16, ResNet-50, and EfficientNet-B0 —were adopted to compare the performances. The ViT-B/16 model among those models showed the highest classification accuracy to be selected to generate style vectors for the optimization process. This study demonstrates that the proposed method successfully generates optimal outfit combination recommendations considering both stylistic coherence and user-centric preferences.

최근 AI의 발전으로 추천시스템이 보편화됨에 따라 소비자 경험이 획일화되고 있으며, 스타일 기반 맞춤형 상품 조합 추천 수요가 증가하고 있다. 본 연구는 전자상거래 플랫폼 29CM의 상품 데이터를 활용해 개인 맞춤형 상품 조합 추천을 실현하는 시스템을 제안한다. 제안된 시스템은 이미지 기반 스타일 분류와 다목적 최적화로 구성되었다. 실험 결과, 스타일 유사도와 리뷰 만족도를 동시에 극대화하는 파레토 최적해가 도출되었다. 본 연구는 개인 맞춤형 패션 스타일 서비스 제공 시 효율적인 상품 구성 도출 도구로 활용될 것으로 기대한다.

The advancement of deep learning has significantly improved image classification performance. However, the complexity of large-scale datasets continues to present challenges in terms of training time and resource consumption. One approach to address these issues is Self- Paced Curriculum Learning. Self-Paced Curriculum Learning begins by training on relatively easy data, allowing the model to autonomously select data and adjust difficulty levels as training progresses, gradually incorporating more complex data. This method improves the efficiency of the training process while minimizing performance degradation. In this study, we propose an approach that combines Self- Paced Curriculum Learning with the exclusion of low-noise data from the training process to further enhance training speed. The experimental results show that reducing the amount of data improves training speed. However, accuracy tends to decrease as the extent of data reduction increases.

A system that recognizes unusual situations on the road in real-time and alerts them to the nearby vehicles helps ensure smooth and safe driving. In this paper we propose a method to accurately recognize abnormal road situations by combining object detection with hard negative mining and image classification based on YOLOV8 model. By combining object detection and image classification models, we gain the advantage of not only detecting abnormal road situations but also understanding their scale.

Artificial neural networks have been constantly increasing in size and complexity, so their resource demands have also increased. These high computational requirements and processing time make them impractical for real-life development scenarios involving embedded systems. Resource-constrained environments such as mobile devices, IoT gadgets and edge computing platforms demand efficient models with lower computational complexity and fast real-time inference speeds. We have developed an iterative pruning technique to reduce the inference time of the model by pruning less essential neurons. Unlike traditional pruning methods that require a separate pruning step after training, our technique prunes the network gradually as it learns. This method ensures the model adapts dynamically by removing unnecessary parameters while maintaining accuracy. Our technique works by temporarily reducing the weights of a few neurons and then studying how the networks resist those neurons. Neurons with high resistance are restored to their original state, while the others with low resistance are pruned.

최근 이미지 분류 작업의 기술들은 잘 정제되어 있는 대규모 데이터 세트에서 강력한 성능을 보여주지만, 긴꼬리 분 포에서는 약한 모습을 보인다. 또한, 계층적 데이터 세트에 대한 연구는 제한적이다. 그러나 트리 형태의 구조로 조 직된 계층적 데이터 세트에서는 상위 클래스 정보를 추가적으로 활용할 수 있다. 본 논문에서는 계층적 특징 활용을 위해 문화유산 데이터 세트를 수집하였으며, 해당 데이터 세트에서 분류 실패의 두 가지 원인을 발견하였다. 1) 클 래스 불균형으로 인한 오 분류, 2) 상위 클래스 오 분류. 우리는 이러한 문제를 해결하기 위해 두 가지의 손실 함수 를 활용한 학습 전략을 제안한다. 유니폼 샘플링과 클래스별 유니폼 샘플링, 두 가지 샘플링 방법의 이점을 모두 가 져가기 위한 consistency 손실 함수와 상위 클래스의 특성을 위해 하위 클래스 예측에 기반한 손실 함수를 사용하 여 문화유산 데이터 세트에서 베이스라인 대비 5.4%의 성능 향상을 달성한다.

Recent techniques in image classification show strong performance on large, well-refined datasets, but are weak on long-tailed distributions. In addition, there is limited research on hierarchical datasets; however, hierarchical datasets organized in a tree-like structure can further exploit higher-level class information. In this paper, we collected a cultural heritage dataset to utilize hierarchical features, and found two causes of classification failure in the dataset. 1) misclassification due to class imbalance, and 2) superclass misclassification. To solve these problems, we propose a learning strategy utilizing two loss functions. We use a consistency loss function to take advantage of both sampling methods, uniform sampling and class-specific uniform sampling, and a loss function based on subclass prediction for the characteristics of the parent class. We achieve a performance improvement of 5.4% over baseline on a cultural heritage dataset using our proposed learning technique.

Planthopper is a major problem pest of agricultural crops and rice, feeding mainly on the leaves and stems of crops and causing devastating damage to farmers in South Korea. Planthoppers reduce nutrients in the body of crops and cause crop diseases by destroying tissue or transmitting viruses, so accurate detection and diagnosis is essential to minimize the damage. With the development of artificial intelligence in recent years, deep learning has been widely used to diagnose the pests. Most of the pest diagnosis research and programs use approaches based on object detection and image classification. However, traditional planthopper detection models may misidentify other pests as planthoppers, which can reduce user confidence in the diagnostic model. To address this misrecognition problem, this study investigates a deep learning-based planthopper Image detection and discrimination model for detecting and classifying the planthopper images. The proposed model combines the Faster RCNN object detection model and the Resnet50 classification model to automatically detect planthoppers among other pests in aerial entomology net images. The performance measurements showed that the benchmark model using the Faster RCNN algorithm achieved a high Recall of 91.23%, but a relatively low Precision of 24.34%. On the other hand, the model proposed in this study has a high recall of 96.22% and a high precision of 96.73%, proving that it can detect planthoppers well.

본 연구의 목적은 이미지 랜드마크 선정 기법을 기반으로, 인공신경망 안면 영상분석 시스템의 성능을 향상하기 위한 내용이다. 랜드마크 선정을 위하여 안면 이미지 연령을 분류를 위한 CNN 기반의 다층 ResNet 모델의 구성이 필요하며, ResNet 모델에서 입력 노드의 변화에 따른 출력 노드의 변화를 감지하는 히트 맵을 추출한다. 추출된 다수의 히트 맵을 결합하여 연령 구분 예측과 관계된 안면 랜드마크를 구성한다. 이를 통하여, 안면 랜드마크를 통하여 픽셀의 위치별 중요도를 분석할 수 있으며, 가중치가 낮은 픽셀의 제거함으로서 상당량의 입력 데이터 감소가 가능해졌다. 이러 한 기법은 인공신경망 시스템의 연산 성능 향상에 기여하게 된다.

The purpose of this study is to improve the performance of the artificial neural network system for facial image analysis through the image landmark selection technique. For landmark selection, a CNN-based multi-layer ResNet model for classification of facial image age is required. From the configured ResNet model, a heat map that detects the change of the output node according to the change of the input node is extracted. By combining a plurality of extracted heat maps, facial landmarks related to age classification prediction are created. The importance of each pixel location can be analyzed through facial landmarks. In addition, by removing the pixels with low weights, a significant amount of input data can be reduced.

최근 들어 인공 지능을 이용한 영상 객체 인식에 대한 연구 및 개발이 활발하게 진행되고 있다. 그 연장선상에서 도로 유지 및 관리 분야에도 관련 연구의 활용도가 크게 향상될 것으로 기대된다. 그 중에서도 특히 도로 노면 파손 객체 인식 (Object Detection) 을 위한 인공 지능 모델이 지속적으로 개발되고 있다. 이러한 객체 인식 알고리즘을 개발하려면 우선적으로 특징 지도를 생성하는 Backbone Network가 반드시 필요한데, 본 논문에서는 이를 선정하는 방법을 제안하고자 한다. 이를 위해 6,000여 장의 도로 노면 파손 영상 데이터를 확보하고, 근래에 많 이 사용되는 4종류의 심층 신경망을 활용하여 성능을 비교한다. 3가지의 성능 평가 방법을 적 용하여 심층 신경망의 특징을 분석하고 최적의 심층 신경망을 결정한다. 또한 하이퍼 파라미 터의 최적 조율을 통해 성능을 향상시키고, 최종적으로 도로 노면 파손 영상 분류를 위하여 85.9%의 정확도로 수행이 가능한 경량화된 Backbone Network용 심층 신경망을 제안한다.

In recent years, research and development on image object recognition using artificial intelligence have been actively carried out, and it is expected to be used for road maintenance. Among them, artificial intelligence models for object detection of road surface are continuously introduced. In order to develop such object recognition algorithms, a backbone network that extracts feature maps is essential. In this paper, we will discuss how to select the appropriate neural network. To accomplish it, we compared with 4 different deep neural networks using 6,000 road surface damage images. Based on three evaluation methods for analyzing characteristics of neural networks, we propose a method to determine optimal neural networks. In addition, we improved the performance through optimal tuning of hyper-parameters, and finally developed a light backbone network that can achieve 85.9% accuracy of road surface damage classification.

본 논문에서는 화물차 차종을 분류하기 위해서 특징추출단계 없이 입력영상으로부터 차종분류결과를 얻을 수 있는 합성곱 신경망을 사용한 분류방법을 제안한다. 차량의 위에서 촬영된 영상을 입력으로 사용하고 입력영상에 적합한 합성곱 신경망의 구조를 설계한다. 차종과 화물칸의 형태에 따라 차종을 자동 분류하기 위한 학습데이터를 생성하고 지도학습의 형태로 학습시키기 위해 분류된 영상과 올바른 출력결과를 제시하여 신경망의 가중치를 학습시킨다. 실제 영상을 입력하여 합성곱 신경망의 출력을 계산하였고 실제 차종과의 비교를 통해 분류 성능을 평가 하였다. 실험결과 화물의 차종과 적재함 의 형태에 따라 90%이상의 정확도로 영상을 분류할 수 있었고, 적재불량 검사의 사전 분류에 활용될 수 있다.

This paper proposes a classification method using the Convolutional Neural Network(CNN) which can obtain the type of trucks from the input image without the feature extraction step. To automatically classify vehicle images according to the type of truck cargo box, the top view images of the vehicle are used as input image and we design the structure of the CNN suitable for the input images. Learning images and correct output results is generated and the weights of neural network are obtained through the learning process. The actual image is input to the CNN and the output of the CNN is calculated. The classification performance is evaluated through comparison CNN output with actual vehicle types. Experimental results show that vehicle images could be classified with more than 90 percent accuracy according to the type of cargo box and this method can be used for pre-classification for inspecting loading defect.

Fine-grained image classification, which is a challenging task in computer vision, requires precise differentiation among visually similar object categories. In this paper, we design a novel framework, namely Relationship Batch Integration (RBI), allowing the discernment of vital visual features that may remain elusive when examining a singular image representative of a particular class. Our proposed method, validated through extensive experiments, significantly boosts the accuracy of fine-grained classifiers, achieving state-of-the-art performance with??on the Stanford Dog dataset, even attaining a top result of??on the Tiny-Imagenet dataset for general image classification.

We propose a novel residual network called competitive residual network (CoRN) for image classification. The proposed network is composed of residual units having two identical blocks each containing convolutional filters, batch normalization, and a maxout unit. The maxout unit enables the competition among the convolutional filters and reduces the dimensionality of the convolutional layer. The proposed network outperforms the original residual network by a significant margin and test errors on benchmark datasets (CIFAR-10/100 and SVHN) are comparable to the state-of-the-art. Using the ensemble network, we achieve a test error of 3.85% on CIFAR-10, 18.17% on CIFAR-100 and 1.59% on SVHN.

본 연구에서는 사용자로부터 입력받은 이미지를 분석하여 그에 맞는 음악을 생성, 재생하는 방법을 고안 하였다. 단순히 이미지를 청각화 하는 기술적인 의미 뿐 아니라 사용자의 이미지에 담긴 정서와 의도 또한 담아내는 것을 목표로 하였다. 사용자는 본 연구에서 제안된 어플리케이션에 원하는 물체를 그린다. 인공지 능을 통해 이미지가 어떤 물체인지 판별 후, 그 물체와 이어질 수 있는 감정을 대응해 해당 멜로디의 감정과 분위기를 맞출 수 있도록 하였다. 정서에 알맞는 음정(key)를 설정한 뒤, 사용자가 이미지를 그릴 때 입력한 획순을 분석해 이를 기준으로 음계를 추출하여 선율을 생성하였다. 향후 이미지의 청각적 표현을 구현하는 것뿐만 아니라 그림에 대한 예술적인 이해와 의미 있는 음악을 만들어내기 위한 화성법 등의 작곡이론을 연 구하여 이미지에 담긴 예술성과 의도를 음악에 담아낼 수 있는 한 가지 방향을 제시할 것이다. 또한 그림을 인식하고 판별하기 위한 인공지능 기술과 그림 분석, 음악 생성 등의 예술 분야를 결합해 공학과 예술의 융 합이라는 방향으로서 의미 있는 시도가 될 것이다.

In this study, we devised a application that generates and reproduces music by analyzing images received from a user. It was aimed not only to capture the technical meaning of auditioning images, but also to express emotions and intentions in user's images. In the proposed application, a user draws a picture of a desired object. The application uses artificial intelligence to determine which object an image is. After that, the emotions that can be connected with each objects. The application determines the key that matches the mood through the emotion associated with the object. After setting a key suitable for the emotion, the user's stroke order is analyzed, and the melody is composed based on the extracted user’s stroke data. In the future, research on arts such as painting and music will be continued as well as implementing auditory expression of images. Based on this, we will present the direction to embody the artistic and intention in the image into music. It will also be a meaningful attempt as a direction of combination between engineering fields such as artificial intelligence for recognizing pictures and art fields such as picture analysis, and music production.

의료 영상 분류(MIC)는 병리학적 패턴 식별을 통해 임상의의 컴퓨터 보조 진단을 지원하는 핵심 역할을 수행한다. 본 연구에서는 정밀 의료 영상 분류를 위한 주의력 강화 시너지 신경망(AM-SNN) 프레임워크를 제안한 다. 본 모델은 공개 데이터셋 두 가지(흉부 질환 검출용 ChestX-ray 데이터셋 및 유방암 조직병리학적 영상 분류 용 BreakHis 데이터셋)에서 평가되었다. 실험 결과, 제안된 프레임워크가 기존 CNN 기반 아키텍처 대비 우수한 성능을 달성함을 입증하였다. 또한 두 이질적 데이터셋 전반에서 관찰된 일관된 성능 향상은 제안 모델이 특정 질환 유형에 국한되지 않고 다양한 의료 영상 모달리티에서 강력한 일반화 능력을 발휘함을 시사한다. 어텐션 메 커니즘과 시너지적 협업 학습의 통합은 모델 해석성을 향상시키면서 더 차별화된 특징 추출을 가능케 한다.

Medical image classification (MIC) plays a crucial role in computer-aided diagnosis by assisting clinicians in identifying pathological patterns. In this study, we propose an attention-enhanced synergic neural network (AM-SNN) framework for fine-grained medical image classification. The model was evaluated on two publicly available datasets: theChestX-ray dataset for thoracic disease detection and the BreakHis dataset for breast cancer histopathological image classification. Experimental results demonstrate that the proposed framework achieves superior performance compared to conventional CNN-based architectures. Furthermore, the consistent improvements observed across two heterogeneous datasets indicate that the proposed model is not limited to a specific disease type but exhibits strong generalization capability in different medical imaging modalities. The integration of attention mechanisms and synergic collaborative learning enables more discriminative feature extraction while improving model interpretability.

대장암 검사의 가장 효과적인 진단 방법은 대장내시경 검사이다. 내시경 검사는 소형 카메라를 통하여 확인되는 대 장 내부 영상을 의료인의 육안으로 대장에 돌출한 용종 또는 암으로 성장할 것으로 예측되어지는 용종을 찾아내는 방법이다. 사람의 육안을 통하여 검사가 이루어지는 내시경 검사는 컴퓨터의 영상 학습 기술을 통하여 의료인에게 도움을 제공할 수 있다. 본 연구에서는 내시경 검사를 보조하기 위하여 정상적인 대장, 선종성 용종, 그리고 선암 세 종류로 이루어진 영상 데이터를 분류한다. 제안하는 영상 분류 방법은 심층학습 기반의 영상 분류 기술 중 하나 인 합성곱 신경망(Convolutional Neural Networks) 방법을 통한 내시경 영상 분류 방법을 제안한다. 본 연구에 서 구성한 합성곱 신경망은 총 34개의 합성곱 계층(Convolution Layer)과 하나의 완전연결계층(Fully Connected Layer)을 이룬다. 실험 결과 총 410개의 테스트 데이터에 대해서 94.39%의 인식률을 보였다.

The most effective method of diagnosing colorectal cancer is colonoscopy. colonoscopy is the process of finding protruding or cancerous polyps in a colon via inspection through an internal video of the colon taken with a small camera. The colonoscopy which is usually diagnosed by human visually, can be improved by adapting computer vision learning technology. In this study, classify the images in normal colon, adenomatous polyps, and adenocarcinoma to aid colonoscopy diagnosing. The use of convolutional neural network, one of the image classification techniques based on deep learning, is suggested as the way to classify the colonoscopy images. The convolutional neural network is constructed with 34 convolutional layers and 1 fully-connected layer. The result of this experiment showed a 94.39% accuracy over 410 tests.