Earticle

The most popular technique for image retrieval in a heterogeneous collection of color images is the comparison of images based on their color histogram. The color histogram describes the distribution of colors in the color space of a color image. In the most image retrieval systems, the color histogram is used to compute similarities between the query image and all the images in a database. But, small changes in the resolution, scaling, and illumination may cause important modifications of the color histogram, and so two color images may be considered to be very different from each other even though they have completely related semantics. A new method of color feature representation based on the 3-dimensional RGB color map is proposed to improve the defects of the color histogram. The proposed method is based on the three 2-dimensional projection map evaluated by projecting the RGB color space on the RG, GB, and BR surfaces. The experimental results reveal that the proposed is less sensitive to small changes in the scene and that achieve higher retrieval performances than the traditional color histogram.

The rapid advancement of imaging technology has led to a surge in the volume of image data, making it challenging for image owners to efficiently store and process them. To address these issues, many are turning to cloud service providers (CSP) for their powerful storage and computational resources. Despite this convenience, reliance on cloud servers to enable computationally demanding computer vision applications such as content-based image retrieval (CBIR), poses significant privacy risks. As images may contain personally identifiable information and they may be subjected to copyright. In this regard, a straightforward solution is to encrypt images on the users’ end before sharing them with the third-party owned servers. However, the main challenge is to find a better trade-off between privacy and data usability in a cost-effective manner. Therefore, this paper presents a privacy preserving CBIR scheme that leverages the recent advancements of incorporating sub-block processing in perceptual encryption (PE) for enhanced security. In addition, our image retrieval scheme is histogram based that combines color and edge information with discrete wavelet transform; therefore, it is invariant to the encryption transformation functions. The simulation results show that our privacy preserving CBIR achieves the same retrieval performance as that of the plain images while delivering better security than the conventional privacy preserving CBIR techniques.

In this paper, we introduce a simple but efficient method to construct powerful image representation via spatially weighted deep convolutional feature aggregation for image retrieval. First, the convolutional features are extracted from the convolutional layer of the CNNs and proposed spatial weights are applied to the convolutional features. A sum pooling is performed to aggregate the spatially weighted convolutional features into the global image representation. We carry out extensive experiments on Oxford and Paris Building datasets and experiment results show that the proposed method achieves competitive performance compared to current state-of-the-art methods.

Crop diseases and pests are one of the agricultural disasters that adversely affect the yield and quality of crops. To prevent and control them, many researchers have been working on deep learning-based disease and pest recognition. Most of these studies use classification techniques to output one class with the highest probability from a predefined list of pests. However, the accuracy of classification models is not perfect, and they can produce enough incorrect results to require additional aids. In this study, we proposed a novel disease and pest diagnosis pipeline that combines object detection with a similarity-based retrieval model. In our proposed pipeline, we first detect the damaged region in the image and then classify the class to which it belongs. In the similarity-based retrieval model, the detected region image can be used to further show the user the most similar damage symptom images to help them make a final decision. The pipeline proposed in this study was first applied to three diseases: fire blight, scab, and black necrotic leaf spot.

This paper presents a new technique for corner shape based object retrieval from a database. The proposed feature matrix consists of values obtained through a neighborhood operation of detected corners. This results in a significant small size feature matrix compared to the algorithms using color features and thus is computationally very efficient. The corners have been extracted by finding the intersections of the detected lines found using Hough transform. As the affine transformations preserve the co-linearity of points on a line and their intersection properties, the resulting corner features for image retrieval are robust to affine transformations. Furthermore, the corner features are invariant to noise. It is considered that the proposed algorithm will produce good results in combination with other algorithms in a way of incremental verification for similarity.

The paper presents an algorithm which uses code vectors to represent comer geometry information for searching the similar images from a database. The comers have been extracted by finding the intersections of the detected lines found using Hough transform. Taking the comer as the center coordinate, the angles of the intersecting lines are determined and are represented using code vectors. A code book has been used to code each comer geometry information and indexes to the code book are generated. For similarity measurement, the histogram of the code book indexes is used. This result in a significant small size feature matrix compared to the algorithms using color features. Experimental results show that use of code vectors is computationally efficient in similarity measurement and the comers being noise invariant produce good results in noisy environments.

검색에서 이미지는 시각적 속성이 중요지만, 기존의 검색방법은 문서 검색을 위한 방법에 초점이 맞춰져 있어 이미 지의 속성 정보가 미반영된 키워드 중심의 검색 시스템이 대부분이다. 본 연구는 이러한 한계를 극복하고자 이미지의 벡터 정보를 기반으로 유사 이미지를 검색할 수 있는 모델과 스케치로 검색 쿼리를 제공하여 유사 이미지를 검색할 수 있는 시스 템을 개발하였다. 제안된 시스템은 GAN을 이용하여 스케치를 이미지 수준으로 업 샘플링하고, 이미지를 CNN을 통해 벡터 로 변환한 후, 벡터 공간 모델을 이용하여 유사 이미지를 검색한다. 제안된 모델을 구현하기 위하여 패션 이미지를 이용하여 모델을 학습시켰고 패션 이미지 검색 시스템을 개발하였다. 성능 측정은 Precision at k를 이용하였으며, 0.774와 0.445의 성능 결과를 보였다. 제안된 방법을 이용하면 이미지 검색 의도를 키워드로 표현하는데 어려움을 느끼는 사용자들의 검색 결과에 긍정적 효과가 나타날 것으로 기대된다.

The most of the IR focus on the method for searching the document, so the keyword-based IR system is not able to reflect the feature information of the image. In order to overcome these limitations, we have developed a system that can search similar images based on the vector information of images, and it can search for similar images based on sketches. The proposed system uses the GAN to up sample the sketch to the image level, convert the image to the vector through the CNN, and then retrieve the similar image using the vector space model. The model was learned using fashion image and the image retrieval system was developed. As a result, the result is showed meaningful performance.

영상의 특징인 색상, 모양, 질감 등을 이용해 영상을 검색하는 연구들은 많이 진행되어 왔다. 또한 작물의 질병 영상 과 관련된 연구들도 진행되고 있다. 농업 현장에서 재배되는 작물에 발생한 질병을 확인하는데 도움이 되기 위해 본 논문에서는 시설원예 작물의 질병 영상을 이용한 유사도 기반 작물 질병 검색 시스템을 제안한다. 제안하는 시스템 은 단일 Descriptor를 사용하지 않고, 조합 Descriptor를 통해 기존 대비 영상의 유사도 검색 성능을 높였고 유사 도 검색 결과를 가독성 높게 사용자에게 제공하기 위해 가중치 기반 산출방법을 적용했다. 본 논문에서는 총 13개 의 개별 Descriptor를 이용해 조합을 진행했다. 조합 Descriptor를 이용해 6개 작물의 질병에 대해 유사도 검색을 진행했고 작물별로 평균 accuracy가 높은 조합 Descriptor를 선정해 유사도 검색에 사용했다. 검색된 결과는 병명 의 비율을 기반으로 한 산출방법과 가중치를 기반으로 한 산출방법을 사용해 백분율로 나타냈다. 병명의 비율을 기 반으로 한 산출방법은 질의 영상과 유사도 검색에 사용되는 영상의 수가 많은 병명이 1순위로 출력되는 문제점이 있다. 이를 해결하기 위해 가중치를 기반으로 한 산출방법을 사용했다. 작물의 병명별 테스트 영상을 두 가지 산출 방법에 적용해 검색 성능을 측정했다. 작물의 질병별로 두 가지 산출방법에 대해 검색 성능 값의 평균을 비교한 결 과 고추, 사과 작물에서는 병명의 비율을 기반으로 한 산출방법의 성능이 가중치를 기반으로 한 산출방법의 성능보 다 평균 약 11.89%의 높은 성능 결과를 보였다. 국화, 딸기, 배, 포도 작물에서는 가중치를 기반으로 한 산출방법 이 병명의 비율을 기반으로 한 산출방법의 성능보다 평균 약 20.34%의 높은 성능 결과를 보였다. 또한 본 논문에 서 제안하는 시스템의 UI/UX는 실제 사용자의 피드백을 통해 편리하게 구성했다. 시스템의 화면마다 상단에 제목 과 설명을 출력했고 사용자가 질병의 정보를 보기 편리하게 화면을 구성했다. 검색된 질병의 정보는 위에서 제안한 산출방법을 토대로 유사한 질병의 영상과 병명을 출력한다. 시스템의 환경은 PC 환경 기반의 웹 브라우저와 모바일 디바이스 환경 기반의 웹 브라우저를 통해 사용할 수 있도록 구현했다.

Many studies have been carried out to retrieve images using colors, shapes, and textures which are characteristic of images. In addition, there is also progress in research related to the disease images of the crop. In this paper, to be a help to identify the disease occurred in crops grown in the agricultural field, we propose a similarity-based crop disease search system using the diseases image of horticulture crops. The proposed system improves the similarity retrieval performance compared to existing ones through the combination descriptor without using a single descriptor and applied the weight based calculation method to provide users with highly readable similarity search results. In this paper, a total of 13 Descriptors were used in combination. We used to retrieval of disease of six crops using a combination Descriptor, and a combination Descriptor with the highest average accuracy for each crop was selected as a combination Descriptor for the crop. The retrieved result were expressed as a percentage using the calculation method based on the ratio of disease names, and calculation method based on the weight. The calculation method based on the ratio of disease name has a problem in that number of images used in the query image and similarity search was output in a first order. To solve this problem, we used a calculation method based on weight. We applied the test image of each disease name to each of the two calculation methods to measure the classification performance of the retrieval results. We compared averages of retrieval performance for two calculation method for each crop. In cases of red pepper and apple, the performance of the calculation method based on the ratio of disease names was about 11.89% on average higher than that of the calculation method based on weight, respectively. In cases of chrysanthemum, strawberry, pear, and grape, the performance of the calculation method based on the weight was about 20.34% on average higher than that of the calculation method based on the ratio of disease names, respectively. In addition, the system proposed in this paper, UI/UX was configured conveniently via the feedback of actual users. Each system screen has a title and a description of the screen at the top, and was configured to display a user to conveniently view the information on the disease. The information of the disease searched based on the calculation method proposed above displays images and disease names of similar diseases. The system’s environment is implemented for use with a web browser based on a pc environment and a web browser based on a mobile device environment.

본 연구는 내시경 영상 분석의 정확성과 설명 가능성을 향상시키기 위해 이미지 검색 기반의 프레 임워크를 제안한다. 사전 학습된 기초 모델을 활용한 임베딩 추출과 유사한 영상 쌍 간의 임베딩 벡터 사이의 거리를 학습하는 방식으로 해부학적 유사성에 기반한 이미지 검색 성능을 정량적으로 평가하였다.

이미지 검색은 주어진 이미지에 대해 검색 목적에 맞는 이미지를 찾는 문제이다. 최근 연구는 주로 시각적으로 유사 한 이미지를 찾는 content-based image retrieval(CBIR) 문제를 해결하기 위해 이미지 분류를 위해 대용량 데 이터셋에 대해 사전 학습된 딥러닝 모델의 특징맵(feature map)을 활용한다. 본 논문은 주어진 이미지와 같은 객 체를 포함하고 있는 이미지를 찾는 object-based image retrieval(OBIR) 문제를 제안한다. 기존의 이미지 검색 기법은 global feature나 local feature를 사용해 유사한 이미지를 검색하는데 이때 주어진 이미지가 복잡한 배경 을 가지고 있거나 이미지의 객체가 작은 경우 객체 정보를 얻는 데 어려움이 발생한다. 이를 해결하기 위해 배경에 구애받지 않고 객체의 정보를 사용하는 최신 객체 인식 모델인 Detection Transformer(DETR)와 Bag of Visual Words(BoVW)를 활용한 객체 임베딩(object embedding) 및 이미지 검색 기법을 제안한다. 본 논문은 객체 인식 문제에 주로 쓰이는 COCO 데이터와 기존 이미지 검색 기법에서 사용하는 AID, Oxford & Paris 데이 터를 사용해 기존 이미지 검색 기법들과 비교 실험을 수행하였고, DETR 기반 BoVW가 OBIR 문제에서 기존 방법 대비 우수한 성능을 내는 것을 확인하였다.

Image retrieval is a problem of finding an image suitable for the purpose of search for a given image. Recent work utilizes a feature map of pre-trained deep learning models from large dataset for image classification to solve the content-based image retrival(CBIR) problem, mainly finding visually similar images. This paper proposes an object-based image retrival(OBIR) problem of finding an image containing an object same as a given image. Traditional image retrieval techniques use global or local features to search for similar images, which makes it difficult to obtain object information if a given image has a complex background or if the object of the image is small. To address this, we propose object embedding and image retrieval techniques using the latest object recognition models, DETR (Detection Transformer) and Bag of Visual Words (BoVW), which can represent object information regardless of background. This paper conduct a comparative experiment with existing image retrieval techniques using COCO data mainly used in object recognition problems and AID, Oxford & Paris data used in existing image retrieval techniques, and show that DETR-based BoVW outperforms existing methods in OBIR problems.

본 논문에서는 다양한 검색 환경과 모바일 디바이스의 센서 정보를 활용한 모바일 이미지 검색 방법을 제안하고 안드로이드 플랫폼에서 구동하는 검색 시스템을 구현하였다. 설계 개발 시스템은 JPEG 이미지를 대상으로 산업계 표준 메타데이터인 EXIF 속성과 시각적 특징을 결합한 새로운 검색 기술자이며, 검색을 위한 특징 추출 및 유사도 평가 알고리즘을 모바일 환경에 최적화한 이미지 검색 모듈이다. 실험을 통해, 대용량 이미지 데이터셋을 대상으로 안드로이드 폰에서 효율적인 이미지 검색을 수행하였음을 보였다.

In this paper, we propose a mobile image retrieval system which utilizes the mobile device’s sensor information and enables running in a variety of the environments, and implement the system on Android platform. The proposed system deals with a new image descriptor using combination of the visual feature with EXIF attributes in the target of JPEG image, and image matching algorithm which is optimized to the mobile environments. Experiments are performed on the Android platform, and the experimental results revealed that the proposed algorithm exhibits a significant improved results with large image database.

The evaluation of texture similarity is very important in content‐based image retrieval systems. Firstly the rotation invariance of grayprimitive co‐matrix was proved in this paper, then the texture image retrieval technique based on grey‐primitive co occurrence matrix was presented, The result of experiment indicates that the ability of this method to resist noise is better than those traditional methods.

농가에서 병해충 발생에 신속하게 대응하는 것은 농가의 피해를 최소화하고 다른 농가에 병해충이 확산되는 막심한피해를 막을 수 있는 중요한 화두이다. 기존에 개개인이 전문가에게 의뢰를 하고 진단을 받을 수 있는 시스템에서벗어나 본 논문은 현장 중심으로 농가에서 실시간으로 병해충을 검색하고 자가 진단을 할 수 있는 모바일 기반의병해충 검색을 위한 통합 시스템을 제안한다. 기존에 서비스 되고 있는 병해충을 진단하거나 예측해주는 시스템들은사용자가 현장에서 신속하게 진단을 받지 못하였다. 그리고 병해충 검색에 관련된 연구들은 제한된 몇 가지의 병해충에 대해서만 실험이 이루어졌거나 인식의 정확도가 높지 않다는 한계점이 있다. 본 논문이 제안하는 병해충 검색을 위한 통합 시스템은 유사도 기반의 이미지 검색 기술과 딥러닝 알고리즘을 사용한 영상 인식 기반의 검색 기술을모두 적용하였다. 유사도 기반의 이미지 검색 기술은 다양한 작물의 병해충에 대하여 빠르게 실험을 통하여 적용을할 수 있다는 장점이 있지만 상대적으로 낮은 정확도의 결과를 보인다. 반대로 영상 인식 기반의 검색 기술은 많은데이터를 학습해야 하기 때문에 상당한 시간이 소요되어 여러 병해충에 적용하기는 어렵지만 상대적으로 높은 정확도를 보인다. 따라서 두 기술 모두를 사용하여 병해충 인식에 있어 다양성과 높은 정확도 두 가지 요소를 모두 고려하고 서로 보완하였다. 그리고 본 시스템은 모바일 기기에 최적화된 사용자 인터페이스를 사용하여 농가에서 실시간으로 병해충으로 의심되는 작물을 촬영한 후 검색을 통해 자가 진단을 할 수 있게 하였다.

Responding quickly to the occurrence of pests in farms is an important issue that minimizes the damage to the farmers and prevents the pest damage from spreading to other farms. In this paper, we propose an integrated system for mobile-based pest detection, which can search for pests in real-time at farms and conduct self-diagnosis based on the field. With existing systems that diagnose or predict existing pests, user can make a quick diagnostic on site. Studies related to pest detection have been limited to only a limited number of pests, and showed low level of accuracy in pest recognition. The integrated system for pest detection proposed by this paper adopts both similarity based image retrieval and recognition technology using deep learning algorithm. Similarity-based image retrieval techniques have the advantage of being able to rapidly apply to various pests of crops, but they show relatively low accuracy. On the other hand, image recognition based image retrieval technology requires a lot of data to learn. So it takes considerable time and it is difficult to apply to various pests but it shows relatively high accuracy. Thus, using both techniques, both of the diversity and high accuracy of pest awareness were explored and complemented. In addition, this system can detect the pest in real time at the farm using the mobile device, making the self-diagnosis through the search.

본 연구에서는 검색의 정확도가 떨어지는 문제들을 해결하기 위해, meaning-based 검색과 content-based 검색을 결합하여 검색 시스템을 설계하였다. 설계된 검색 시스템은 임베디드 시스템에 적용할 수 있도록 했으며, 휴대용 PDA 및 스마트 폰과 같은 휴대용 장치로 이미지 데이터를 검색하고 관리가 가능하다. 아울러 검색 시스템은 멀티미디어 데이터를 효율적으로 활용할 수 있다.

This study to solve these problems a search system has been designed by combining the two methods. Also th search and manage image data by handheld devices such as portable PDA or smart phone, a system has been designed application to an embedded system. Once this is used, multimedia data can be efficiently searched and utilized by handheld devices.

본 논문은 O2O쇼핑몰 플랫폼에 있는 상품 검색을 위해 딥 러닝 기반의 이미지 검색 시스템을 이용한 서비스디자인을 제안한다. 인터넷 쇼핑몰에서 판매되는 수많은 제품에 대해서 검색 이미지를 사용하여 보다 편리한 검색 서비스가 가능한 딥 러닝(Deep Learning) 기술을 구현하였다. 본 검색 시스템 구현을 위해 현재 운영 중인 쇼핑몰 업체에서 사용하고 있는 실제 데이터를 실험데이터로 사용하였다. 그러나 본 시스템에서 여러 차례의 검색 실험을 통해서 데이터 성분으로 인한 검색 성능 저하 요인을 확인하였다. 그래서 검색 성능 향상을 위해서 검색에 방해가 되는 학습 데이터를 여러 차례 수정 정리한 후에 검증 데이터를 통해서 실험 결과 값을 수치화 하였다. 이와 같은 실험 결과의 수치 값을 활용하여 본 시스템에서 구현한 서비스디자인 설계에 반영하였다.

This paper proposes a new service design which is deep learning-based image retrieval system for product search on O2O shopping mall platform. We have implemented deep learning technology that provides more convenient retrieval service for diverse images of many products that are sold in the internet shopping malls. In order to implement this retrieval system, real data used by shopping mall companies were used as experimental data. However, result from several experiments have confirmed deterioration of retrieval performance due to data components. In order to improve the performance, the learning data that interferes with the retrieval is revised several times, and then the values of experimental result are quantified with the verification data. Using the numerical values of these experiments, we have applied them to the new service design in this system.

클라우드 서버에 이미지를 위탁하는 사용자가 증가함에 따라 보안 콘텐츠 기반 이미지 검색(SCBIR)의 중요성이 더욱 부각되고 있다. 그러나 공격에 강인성을 가지면서도 검색 성능을 유지할 수 있는 검색 가능한 암호화 이미지를 생성하는 것은 여전히 도전 과제이다. 기존 SCBIR 기법들은 검색 정확도 저하, 보안성 부족, 연산 복잡도 증가 등 의 한계를 보인다. 본 연구에서는 이러한 문제를 해결하기 위해 서브 블록 처리 기반 Perceptual Encryption과 Feature Fusion Descriptor를 통합한 SCBIR 기법을 제안한다. 제안 기법은 암호화 도메인에서 특징 히스토그 램 계산을 가능하게 하여 정확도, 보안성, 계산 효율성 간의 균형을 달성한다. Coral-1K과 GHIM-10K 데이터셋 을 활용한 실험 결과, 평문 이미지와 암호화 이미지 모두에서 유사한 검색 정확도를 확인하였다. 또한 다양한 특징 블록 크기와 암호화 블록 크기를 변화시켜 성능을 최적화함으로써 제안 기법의 우수성을 검증하였다.

With the increasing number of users outsourcing images to cloud servers, secure content-based image retrieval(SCBIR) has become a critical research area. Generating searchable cipher images that provide robustness against attacks and preserve retrieval performance remains a challenge. Towards this, several SCBIR techniques are proposed; however, they often either compromise on search accuracy, lack sufficient security resilience, or suffer from high computational complexity. To address these challenges, we propose a SCBIR scheme that integrates sub-block processingbased perceptual encryption with the feature fusion descriptor. This method enables the calculation of feature histograms in the encrypted domain, striking a better balance between accuracy, security, and computational efficiency. Experimental evaluations conducted on the Coral-1K and GHIM-10K datasets demonstrate that both plain and cipher images exhibit comparable retrieval accuracy. Furthermore, we optimize the proposed scheme by analyzing the impact of varying feature and encryption block sizes, ensuring a comprehensive evaluation of its performance.

With the increasing number of users outsourcing images to cloud servers, privacy-preserving content-based image retrieval (PP-CBIR) has become a critical research area. Generating searchable cipher images that provide both robustness against attacks and efficient retrieval remains a challenge. Towards this, several PP-CBIR techniques are proposed; however, they often either compromise on search accuracy, lack sufficient security resilience, or suffer from high computational complexity. To address these challenges, we propose a PP-CBIR scheme that integrates sub-block processing-based perceptual encryption with the Color Edge Directivity Descriptor (CEDD). This method enables the calculation of feature histograms in the encrypted domain, striking a better balance between accuracy, security, and computational efficiency. Experimental evaluations conducted on the Coral-1K dataset demonstrate that both plain and cipher images exhibit comparable retrieval accuracy. Furthermore, we optimize the proposed scheme by analyzing the impact of varying feature block sizes and sub-block configurations, ensuring a comprehensive evaluation of its performance.

논문은 영상의 주요한 색채들을 기반으로 하는 histogram-based 영상 검색을 위한 변형된 히스토그램 방법(SHM)을 제안한다. 히스토그램을 기초로 하는 방법은 이행이나 로테이션과 같은 이미지의 기하학적 변화에 영향을 받지 않기 때문에 컬러 영상 검색에 있어 매우 적합하다. 동일하고 비주얼한 정보를 지녔지만 컬러 강도가 변화된 영상의 경우, 전통적인 히스토그램 인터섹션(HIM)을 이용할 경우에는 현저히 성능이 떨어질 수도 있다. 이 문제를 해결하기 위해 변형된 히스토그램 방법(SHM)을 사용하였다. 실험 결과 변형된 히스토그램 방법(SHM)은 기존의 히스토그램 방식에 비해 더 높은 영상 검색 성능을 보였다

This paper proposes the shifted histogram method (SHM), for histogram-based image retrieval based on the dominant colors in images. The histogram-based method is very suitable for color image retrieval because retrievals are unaffected by geometrical changes in images, such as tran-slation and rotation. Images with the same visual information, but with shifted color intensity, may significantly degrade if the conventional histogram intersection method (HIM) is used. To solve this problem, we use the shifted histogram method (SHM). Our experimental results show that the shifted histogram method has significant higher retrieval performance than the standard histogram method.