Earticle

Today, taking photos using smartphones has become an essential element of modern people. According to these social changes, modern people need a larger storage capacity, and the number of unnecessary photos has increased. To support the storage, cloud-based photo storage services from various platforms have appeared, and many people are using the services. As the number of photos increases, it is difficult for users to find the photos they want, and it takes a lot of time to organize. In this paper, we propose a cloud-based photo management service that facilitates photo management by classifying photos and recommending unnecessary photos using deep learning. The service provides the function of tagging photos by identifying what the subject is, the function of checking for wrongly taken photos, and the function of recommending similar photos. By using the proposed service, users can easily manage photos and use storage capacity efficiently.

최근 딥러닝 기술 가운데 이미지데이타 분석에 뛰어난 성능을 보이는 합성곱신경망 기술의 발전은 이미지 분석 영역에서 다양한 가능성을 제시하고 있다. 관광객이 게시한 사진을 딥러닝 기술을 이용하여 분류하기 위해서는 관광사진에 대한 분류와 목적에 맞는 딥러닝 모델의 훈련작업이 필수적으로 선행되어야 한다. 본 연구에서는 관광객이 플리커에 게시한 사진을 효율적으로 분류하기 위해 관광목적으로 사진이 어떻게 분류되어야 하는지 관광목적 사진분류 체계를 개발하고자 하였다. 관광목적 사진 분류 카테고리 개발을 위해 문헌분석, 웹사이트 분석, 관광객이 게시한 약 38,000장 사진의 검토과정을 거쳐 사진 분류 카테고리를 개발하였으며, 약 8400장의 사진을 개발된 카테고리에 맞춰 분류해 봄으로써 개발된 카테고리의 검증과정을 거쳤다. 이 과정을 거쳐 최종으로 제안된 카테고리는 13개 대분류, 64개 중분류, 164개의 세분류 체계를 갖으며, 본 연구 결과는 향후 관광목적 사진을 딥러닝 모델을 이용하여 분류하고자 할 때 기초자료로 활용될 것으로 기대된다.

In recent years technology of Convolutional Neural Network (CNN) among the technologies of deep learning has evolved dramatically and has shown an outstanding performance in the analysis of image data. First of all, the training of deep learning model is prerequisite to classify the photos posted by the tourists on Web by applying CNN technology. In this study we aim to develop the photo classification system in view of travel purpose in order to classify the photos posted by tourists on Flickr. We developed the category for photo classification by reviewing around 38,000 photos posted by tourists as well as by analysing literatures and web sites, and then verified the category by classifying 8,400 photos one by one manually according to the category developed. The category we developed has 3 hierarchical levels such as 13 major classification, 64 medium classification and 164 minor classification. We expect that our study can applied in base material when one tries to classify the photos for travel purpose by using the CNN deep learning model.

맞벌이 가정이 증가함에 따라 영유아, 장애인, 노인 등의 사회적 약자를 낮시간 동안 보육/보호하는 데이케어 센터의 수요가 증가하고 있다. 데이케어 센터는 센터 경쟁력 확보 및 보호자 만족도 제고를 위해서 피보호자의 일상 사진을 제공하는 곳이 대부분이다. 하지만 데이케어 센터의 직원이 다수의 사람에 대한 사진을 촬영 및 선별해서 메시지를 전송하는 일은 데이케어 센터 본연의 업무를 방해할 수 있다. 따라서 본 논문에서는 사진 선별을 업무 부담을 완화시키는데 도움을 줄 수 있는 얼굴 특징 기반 사진 자동분류하는 시스템을 개발한다. 제안한 방법에서는 얼굴 특징 추출 기법과 클러스터링 알고리즘인 DBSCAN을 이용하여 얼굴기준 사진 분류시스템을 설계하엿다. 특히, OpenCV와 face recognition 라이브러리를 이용하여 카메라로 촬영된 사진 속의 얼굴 객체를 인식하고 얼굴사진을 저정한 후 얼굴의 특징을 추출한다.

디지털 카메라의 사용이 일반화됨에 따라 수많은 디지털 사진들이 새롭게 생성되고 있다. 수많은 사진을 사용자가 직접 분류하고 앨범화하는 것은 많은 노력과 시간이 소요되는 불편한 작업이 되고 있다. 최근 들어서는 카메라의 높은 보급률로 인해 하나의 행사에 있어서도 여러대의 카메라가 사용되는 등 대용량 사진을 효과적으로 분류하고 시각화할 수 있는 방법의 필요성이 증가하고 있다. 개인적인 사진 관리에 있어서 뿐만 아니라 여러명의 촬영한 사진의 분류 및 제 3 자에게 사진이 촬영된 내용을 소개하기 위한 목적 등 다양한 방면에서 사진 클러스터링 및 시각화와 관련된 기법이 사용될 수 있다. 본 논문에서는 이와 관련된 이전 연구들을 살펴보고 개발중인 사진 분류 및 시각화 시스템의 프로토타입을 소개하며 기존 방법들과 차별화되는 사진 처리 기법에 대해서 살펴본다.

디지털 카메라의 사용이 일반화됨에 따라 수많은 디지털 사진들이 새롭게 생성되고 있다. 수많은 사진을 사용자가 직접 분류하고 앨범화하는 것은 많은 노력과 시간이 소요되는 불편한 작업이 되고 있다. 최근 들어서는 카메라의 높은 보급률로 인해 하나의 행사에 있어서도 여러대의 카메라가 사용되는 등 대용량 사진을 효과적으로 분류하고 시각화할 수 있는 방법의 필요성이 증가하고 있다. 개인적인 사진 관리에 있어서 뿐만 아니라 여러명의 촬영한 사진의 분류 및 제 3 자에게 사진이 촬영된 내용을 소개하기 위한 목적 등 다양한 방면에서 사진 클러스터링 및 시각화와 관련된 기법이 사용될 수 있다. 본 논문에서는 이와 관련된 이전 연구들을 살펴보고 개발중인 사진 분류 및 시각화 시스템의 프로토타입을 소개하며 기존 방법들과 차별화되는 사진 처리 기법에 대해서 살펴본다.

최근 딥러닝 기술 가운데 이미지데이타 분석에 뛰어난 성능을 보이는 합성곱신경망 기술의 발전은 이미지 분석 영역에서다양한 가능성을 제시하고 있다. 관광객이 게시한 사진을 딥러닝 기술을 이용하여 분류하기 위해서는 관광사진에 대한 분류와목적에 맞는 딥러닝 모델의 훈련작업이 필수적으로 선행되어야 한다. 본 연구에서는 관광객이 플리커에 게시한 사진을 효율적으로분류하기 위해 관광목적으로 사진이 어떻게 분류되어야 하는지 관광목적 사진분류 체계를 개발하고자 하였다. 관광목적 사진분류 카테고리 개발을 위해 문헌분석, 웹사이트 분석, 관광객이 게시한 약 38,000장 사진의 검토과정을 거쳐 사진 분류 카테고리를개발하였으며, 약 8400장의 사진을 개발된 카테고리에 맞춰 분류해 봄으로써 개발된 카테고리의 검증과정을 거쳤다. 이 과정을거쳐 최종으로 제안된 카테고리는 13개 대분류, 64개 중분류, 164개의 세분류 체계를 갖으며, 본 연구 결과는 향후 관광목적사진을 딥러닝 모델을 이용하여 분류하고자 할 때 기초자료로 활용될 것으로 기대된다.

In recent years technology of Convolutional Neural Network (CNN) among the technologies of deep learning has evolved dramatically and has shown an outstanding performance in the analysis of image data. First of all, the training of deep learning model is prerequisite to classify the photos posted by the tourists on Web by applying CNN technology. In this study we aim to develop the photo classification system in view of travel purpose in order to classify the photos posted by tourists on Flickr. We developed the category for photo classification by reviewing around 38,000 photos posted by tourists as well as by analysing literatures and web sites, and then verified the category by classifying 8,400 photos one by one manually according to the category developed. The category we developed has 3 hierarchical levels such as 13 major classification, 64 medium classification and 164 minor classification. We expect that our study can applied in base material when one tries to classify the photos for travel purpose by using the CNN deep learning model.

멀티미디어 데이터의 생산속도가 급증함에 따라 멀티미디어 데이터를 쉽고, 빠르며, 효율적으로 검색할 수 있는 방법이 필요하게 되었다. MPEG-7 표준화에 관련하여 영상의 특성추출, 기술(description), 검색엔진의 구성에 관련된 연구가 진행중에 있다. 본 논문에서는 영상의 여러 낮은 단계 특성을 추출하여, 이를 바탕으로 영상 분류를 통해 영상의 의미 정보를 얻는다. 분류를 통해 검색의 공간을 줄일 수 있었다. 그리고, 자바 애플릿을 이용하여 웹브라우저 상에서 스케치를 통한 검색을 함으로써, 보다 적극적인 검색이 가능하다.

본 연구의 목적은 여행자가 어떤 순간에 어떻게 행복을 표현하는지 알아보는 것이 다. 이에 따라 여행에서 행복이 어떻게 나타나는지 알아보고자 이미지 기반 SNS인 인스타그 램에서 여행행복과 관련한 해시태그를 통해 사진자료를 수집하였다. 수집된 자료의 분석은 이미지 내용분석 절차에 따라 진행되었으며, 총 56개의 소분류로 이루어진 분류체계를 구축 할수있었다. 이는출발전, 이동중, 여행지총3개의여행단계와선행연구를종합한여행 구성요소가 반영된 분류체계이다. 연구 결과, 여행에서의 행복은 여행의 각 단계에 걸쳐 나타 나며, 특정시간과장소에국한되지않음을알수있다. 여행자들은여행중느낀행복을 자 기(self), 사회적 관계, 여행 상징으로 표현하였다. 그 중에서도 여행 중인 자신의 모습 혹은 여행지를 배경으로 한 자기표현적 행복이 가장 많이 나타났다. 또한 선행연구에서 제시한 것 과같이사회적관계가중요한부분을차지하며그범위가확장됨을알수있었다. 본연구의 시사점은 행복여행 사진 분류체계를 여행단계 및 여행구성요소에 따라 분류한 것이며, 기존 연구에서 나타나지 않은 새로운 영향요인을 제시한 것이다.

The purpose of this research is to examine when/how travelers feel happy. The importance of travel in a person’s happiness has been supported by multiple research projects. Hence, to examine how travel happiness is expressed, photograph data was collected through hashtags related to travel happiness from Instagram, the most popular image based social media. Hashtag, one of the constructs composing an Instagram post, represents the topic of the post and functions as a search keyword. Collected data was analyzed through the process of visual content analysis and consequently a photo category of happiness travel was constructed, with its 56 subcategories. This category includes the components of tourism, as well as 3 travel stages including before departure, moving to destination and at the destination. As a result, it was found that happiness on travel is expressed throughout each stages of travel, not exclusive to certain area and period of time. Also, travel happiness photo shared on SNS is often characterized as self-expressive. Travelers like to leave photo of themselves, with or without the destination on the background. Lastly, social connection is often considered in travel happiness. Not only that photos with travel companions show high frequency, it is spotted that travelers explicitly state who they are traveling with through travel items they prepared.

소위 '인생네컷'이라 불리는 셀프사진관은 MZ 세대의 새로운 놀이 문화로 떠오르며 사용자 수가 나날이 증가하고 있다. 그러나 짧은 시간 내에 다양한 포즈를 취해야 하는 셀프사진관 특성상 촬영이 낯선 사람에게는 여전히 진입장벽이 존재한다. 더불어 매번 비슷한 포즈와 사진 결과물에 기존 사용자는 점차 흥미를 잃어가는 문제점도 발생하고 있다. 이에 본 연구에서는 셀프사진관 사용자의 관계를 분류하는 모델을 개발하여 관계에 따른 적합하고 다양한 포즈를 추천하는 프레임워크를 제안한다. 사용자의 관계를 'couple', 'family', 'female_friend', 'female_solo', 'male_friend', 'male_solo' 총 6 개로 구분하였고 실제 현장과 유사하도록 단색 배경의 이미지를 우선으로 학습 데이터를 수집하여 모델의 성능을 높였다. 모델 학습 단계에서는 모델의 성능을 높이기 위해 여러 CNN 기반의 모델을 전이학습하여 각각의 정확도를 비교하였다. 결과적으로 195 장의 test_set 에서 accuracy 0.91 의 성능 평가를 얻었다. 본 연구는 객체 인식보다 객체 간의 관계를 학습시켜 관계성을 추론하고자 하는 것을 목적으로, 연구 결과가 희박한 관계 분류에 대한 주제를 직접 연구하여 추후의 방향성이나 방법론과 같은 초석을 제안할 수 있다. 또한 관계 분류 모델을 CCTV 에 활용하여 미아 방지 혹은 추적과 구조 등에 활용하여 국가 치안을 한층 높이는 데 기대할 수 있다.

본 연구의 목적은 인공지능의 딥러닝을 활용하여 소셜미디어에서 공유되는 도시공원 이용자 활동사진을 분류하는 기초 모델을 만드는 것이다. 소셜미디어 데이터는 네이버 검색을 통해 수집된 도시공원 관련 사진들을 수집하여 분류모델에 활용하였다. 도시공원 특성 평가에 활용할 수 있는 지표인 자연성(naturalness), 잠재적 매력성(potential attraction), 활동(activity)을 기반으로 최종 21개의 분류 항목체계를 만들고, 항목별로 네이버에서 공유되는 실제 도시공원 사진을 수집하여 주석이 달린 데이터 세트를 구축했다. 수집한 사진 데이터 세트에 대해 커스텀(cuntom) CNN 모델과 사전 훈련된 CNN의 전이학습 모델을 설계하고 분석하였다. 연구결과, 가장 우수한 성능을 보였던 Xception 전이학습 모델이 최종적으로 도시공원 이용자 활동 이미지 분류모델로 선정되었으며, 그 외 다양한 평가 지표를 통해 모델을 평가했다. 본 연구는 소셜미디어에 공유되는 이용자 사진을 활용하여 도시공원 특성을 평가할 수 있는 지표로서 AI를 구축한 것에 의의가 있다. 딥러닝을 활용한 분류모델은 수동분류에 대한 한계를 보완하고, 대량의 도시공원 사진을 효율적으로 분류할 수 있어서 향후 도시공원의 모니터링 및 관리에 활용할 수 있는 유용한 방법이라고 할 수 있다.

This study aims to create a basic model for classifying the activity photos that urban park users shared on social media using Deep Learning through Artificial Intelligence. Regarding the social media data, photos related to urban parks were collected through a Naver search, were collected, and used for the classification model. Based on the indicators of Naturalness, Potential Attraction, and Activity, which can be used to evaluate the characteristics of urban parks, 21 classification categories were created. Urban park photos shared on Naver were collected by category, and annotated datasets were created. A custom CNN model and a transfer learning model utilizing a CNN pre-trained on the collected photo datasets were designed and subsequently analyzed. As a result of the study, the Xception transfer learning model, which demonstrated the best performance, was selected as the urban park user activity image classification model and evaluated through several evaluation indicators. This study is meaningful in that it has built AI as an index that can evaluate the characteristics of urban parks by using user-shared photos on social media. The classification model using Deep Learning mitigates the limitations of manual classification, and it can efficiently classify large amounts of urban park photos. So, it can be said to be a useful method that can be used for the monitoring and management of city parks in the future.

본고를 요약하면 다음과 같다. 첫째, 그간 ‘사진엽서․그림엽서․회엽서’라는 명칭이 사용되어 왔으나, 실상을 정확히 설명하는 것은 사진그림엽서라는 용어라는 점이다. 둘째, 한국 최초의 사진그림엽서를 알레베크엽서로 보는 것은 잘못된 것이며, 관제이든 사제이든 1900년 1월 1일에 발행된 우체총사 연하엽서를 최초의 사진그림엽서로 보는 것이 타당하고, 1906년 3월 28일 통감 이토의 착임을 기념한 사진그림엽서를 최초의 관제사진그림엽서라고 보는 관점도 부정되어야만 한다. 셋째, 한국의 근대 사진그림엽서의 제작 시기는 5단계로 구분할 수 있으며, 이 구분법에는 일본우편법의 변화, 대한제국이 1900년 1월 1일부터 ‘만국우편연합(UPU)’에 가입했다는 사실, 그리고 1905년 4월 1일부터 일제가 대한제국의 우편업무를 장악하고 있었다는 사실을 염두에 두어야만 한다.

First, the name ‘Picture postcard’ has been used, but it is a photo-picture postcard to be precise. Second, It is wrong to consider Korea’s first photo postcard as an Aleveque postcard and reasonable to see the Uchechongguk New Year’s postcard issued on January 1, 1900 as the first postcard whether it is issue by government or private institution. The view of the postcard commemorating Ito’s appointment, which was issued on March 28, 1906, as the first postcard should be denied. Third, the time of production of modern postcards in Korea can be divided into five stages, we should keep in mind that the change of Japanese postal law, the fact that the Korean Empire joined the Universal Postal Union on January 1, 1900, and that Japan had taken control of the Postal Service of the Korean Empire from April 1, 1905.