Earticle

디지털 카메라, 스마트폰, 타블렛과 같은 스마트 기기의 대중화와 소셜 네트워크 서비스를 통해서 사진과 같은 멀티미디어 데이터의 양이 빠르고, 급격하게 확산되고 있다. 사진 검색 방법은 키워드 기반의 검색 방법, 예제 기반의 검색 방법, 시각화 질의 기반의 검색 방법의 세 가지 분류될 수 있다. 이전에 연구된 사진 검색 기법은 일반 PC 환경에 최적화되었기 때문에 최근에 등장한 스마트 TV 환경에서 사진 검색하기 위한 방법으로 사용하는 것은 적합하지 않은 상황이다. 본 논문에서는 스마트 TV 환경에서 키넥트를 이용한 소셜 네트워크에 존재하는 사진 검색 시스템을 제안하였다. 이를 위해서 키넥트 센서를 사용하여 마우스의 컨트롤을 제어할 수 있도록 구현하였으며, 제안하는 시스템의 검색 결과는 임계값이 0.7일 때, 평균 재현율과 평균 정확도는 각각 81%, 80%의 성능을 보였다.

Advances of digital device technology such as digital cameras, smart phones and tablets, provide convenience way for people to take pictures during his/her life. Photo data is being spread rapidly throughout the social network, causing the excessive amount of data available on the internet. Photo retrieval is categorized into three types, which are: keyword-based search, example-based search, visualize query-based search. The commonly used multimedia search methods which are implemented on Smart TV are adapting the previous methods that were optimized for PC environment. That causes some features of the method becoming irrelevant to be implemented on Smart TV. This paper proposes a novel Visual Query-based Photo Retrieval Method in Smart TV Environment using a motion sensing input device known as Kinect Sensor. We detected hand gestures using kinect sensor and used the information to mimic the control function of a mouse. The average precision and recall of the proposed system are 81% and 80%, respectively, with threshold value was set to 0.7

탐색자가 정보 요구를 정보검색시스템에 표현하는 능력은 검색과정의 기본이다. 시각적 예시에 의한 질의는 내용기반 이미지 검색환경에서 질의 표현을 위한 중요한 패러다임이다. 하지만, 이 방법이 질의 구성의 편의성에 있어 얼마나 효과가 있는지에 대한 실험적 입증은 아직 미미하다. 이 연구의 목적은 다양한 정보요구와 효율적이고도 효과적인 시각적 질의 구성을 지원하기 위해 탐색자의 정보요구와 질의 방법 사이에 발생하는 지식 격차를 고려하여 색을 이용한 질의 방식의 사용성을 조사하기 위한 것이다. 본 연구결과를 통하여 색을 이용한 질의 방법이 시각적 질의 구성을 적절히 지원하지 못한다는 것과 탐색자의 정보요구와 검색 패러다임의 표현력 사이에 뚜렷한 불일치가 있다는 것을 알 수 있다.

The ability of the searcher to express their information problem to an information retrieval system is fundamental to the retrieval process. Query by visual example is the principal query paradigm for expressing queries in a content-based image retrieval environment yet there is little empirical evidence to support its efficacy in facilitating query formulation. The aim of this research was to investigate the usability of the query by colour method in supporting a range of information problems in order to contribute to the gap in knowledge regarding the relationship between searchers' information problems and the query methods required to support efficient and effective visual query formulation. The results strongly suggest that the query method does not support visual query formulation and that there is a significant mismatch between the searchers information problems and the expressive power of the retrieval paradigm.

Diverse researches are working moving objects. The most important activities in a moving object database system are query and analysis of spatio -temporal data providing decision-making and problem solving support. Traditional spatial database query language and tools are inappropriate of the real world entities. This paper presents a spatio-temporal query and analysis tool with visual environment. It provides effective, interactive and user-friendly as well as statistic analysis. The moving objects database system stores plentiful moving objects data and performs spatio-temporal and nonspatio-temporal queries.

Accurate localization of unmanned ground vehicles (UGVs) is difficult in global navigation satellite system (GNSS)-denied urban environments, and high-definition maps involve substantial construction and maintenance costs. Image-based reference maps have been studied as a cost-effective alternative, and the integration of unmanned aerial vehicle (UAV) imagery with ground-level imagery has been reported to improve localization performance. However, it remains unclear whether this improvement originates from the construction of a geometrically stable reference database or from direct matching between aerial references and ground-level query images at the localization stage. This study quantitatively decomposed the contribution of UAV imagery into these two stages. Four reference-database configurations were evaluated using an identical query-localization pipeline: aerial-only (A), ground-only (G), integrated reconstruction queried with ground-level references only (G^*), and fully integrated (GA). Experiments were conducted along an approximately 2 km urban route using 813 UAV images, 498 ground-level reference images, and 273 query images acquired in an independent session under different seasonal conditions. Including aerial imagery in the construction of the reference database reduced the checkpoint root mean square error (RMSE) by 35% (from 0.82 m to 0.53 m). Recall@1 m increased from 58.2% for G to 96.3% for G^*, while adding aerial references at the query stage produced no further improvement under the default 10 m ground-reference spacing (96.3% for GA). Thus, the 38.1-percentage-point gain was attributable almost entirely to aerial-supported reference database construction, whereas direct query-stage matching with aerial references provided only a secondary benefit under extremely sparse ground-reference conditions. Multi-frame refinement substantially reduced coverage-related failures but did not eliminate positional errors associated with distortions in the reference-database geometry. These results indicate that UAV imagery is more valuable for constructing geometrically stable reference databases than as a direct matching source for ground-level queries, potentially reducing the density of ground-level references required for UGV localization.

Query-by-example (QBE) is a well-known method for image retrieval. In reality, however, an example image to be used for the query is rarely available. Therefore, it is often necessary to find a good example image to be used for the query before applying the QBE method. Query-by-layout (QBL) is our proposal for that purpose. In particular, we make use of the visual descriptors such as the edge histogram descriptor (EHD) and the color layout descriptor (CLD) in MPEG-7. Since image features of the CLD and the EHD can be localized in terms of a$4{\times}4$ sub-image, we can specify image features such as color and edge distribution on each sub-image separately for image retrieval without a query image. Experimental results show that the proposed query method can be used to retrieve a good image as a starting point for further QBE-based image retrieval.

국민건강보험공단에서 제공하는 표본코호트DB는 보건의료계뿐만 아니라 통계학 연구를 위한 중요한 자원이다. 일반적으로 이들 자료에서 연구에 필요한 정보를 얻기 위하여 관련 사례들을 추출하는 과정에는 많은 시간과 노력이 들게 된다. 본 논문에서는 표본코호트DB를 이용하고자 할 때 사례 추출과정에 도움을 주는 데이터베이스 시스템인 National Health Insurance Service Cohort DB Extract Tool(NICE Tool)을 소개한다. SAS의 DATA 명령문이나 SQL문에 익숙하지 않은 연구자들도 쉽게 마우스 클릭만으로 DB에서 필요한 변수들과 조건에 맞는 사례들을 추출할 수 있는 기능을 제공한다. 이 시스템을 활용하면 빠른 사례추출이 가능하여 표본코호트DB를 사용한 연구들이 더욱 활성화되리라 판단된다.

The Sample Cohort DB supplied by the National Health Insurance Service is a valuable resource for statistical studies as well as for health and medical studies. It takes significant time and effort to extract data from this Cohort DB having a large size. As such, we introduce a database system, conveniently called the National Health Insurance Service Cohort DB Extract Tool (NICE Tool), which supports several useful operations for effectively and efficiently managing the Cohort DB. For example, researchers can extract variables and cases related with study by simply clicking a computer mouse without any prior knowledge regarding SAS DATA step or SQL. We expect that NICE Tool will facilitate the faster extraction of data and eventually lead to the active use of the Cohort DB for research purposes.

시각적 실례에 의한 질의는 내용기반 이미지 검색 환경에서 질의 표현을 위한 중요한 질의 패러다임이다. 이미지 및 스케치에 의한 질의는 질의표현을 가능하게 하는 방법으로서 오랫동안 알려졌다. 하지만 이 방법이 질의를 쉽게 작성하는 데 얼마나 도움을 주는지에 대한 효율성에 대한 실험적 입증은 아직 미미하다. 정보검색시스템에 표현하는 탐색자의 능력은 검색과정의 기본이다. 이 연구의 목적은 탐색자의 정보 문제와 효율적이고도 효과적인 시각적 질의 작성을 지원하기 위해 필요한 질의 방법들 간의 지식 격차의 원인이 되는 다양한 정보 요구를 지원하는 데 있어서 유용성 실험을 통해 이미지에 의한 질의와 스케치방법에 의한 질의 조사하기 위함이었다. 본 연구 결과는 이미지에 의한 질의가 시각적 질의 작성에 실행 가능한 접근방식임을 제시한다. 반면에, 본 연구결과를 통해 탐색자의 정보 문제와 시각적인 질의 작성에 도움을 주는 스케치 패러다임에 의한 질의표현 능력 간에 상당한 불일치가 있다는 것을 알 수 있다. 효율(시간)과 유효성(오류)에 초점을 둔 유용성 실험결과와 이용자의 만족도는 큰 차이점이 있다고 보여준다(p<0.001). 이는 다음 세 가지 측정(시간, 오류, 이용자의 만족도)에 대한 두 가지 질의 방식(이미지에 의한 질의, 스케치에 의한 질의) 사이에서 나타난 시간(Z=-3.597, p<0.001), 오류(Z=-3.317, p<0.001), 그리고 만족도(Z=-10.223, p<0.001)에서 드러난다. 본 연구결과는 또한 질의도구를 참가자가 인지하는 유용성에 큰 차이가 있다는 것을 보여준다(Z=-4.672, p<0.001).

Query by visual example is the principal query paradigm for expressing queries in a content-based image retrieval environment. Query by image and query by sketch have long been purported as being viable methods of query formulation yet there is little empirical evidence to support their efficacy in facilitating query formulation. The ability of the searcher to express their information problem to an information retrieval system is fundamental to the retrieval process. The aim of this research was to investigate the query by image and query by sketch methods in supporting a range of information problems through a usability experiment in order to contribute to the gap in knowledge regarding the relationship between searchers' information problems and the query methods required to support efficient and effective visual query formulation. The results of the experiment suggest that query by image is a viable approach to visual query formulation. In contrast, the results strongly suggest that there is a significant mismatch between the searchers information problems and the expressive power of the query by sketch paradigm in supporting visual query formulation. The results of a usability experiment focusing on efficiency (time), effectiveness (errors) and user satisfaction show that there was a significant difference, p<0.001, between the two query methods on all three measures: time (Z=-3.597, p<0.001), errors (Z=-3.317, p<0.001), and satisfaction (Z=-10.223, p<0.001). The results also show that there was a significant difference in participants perceived usefulness of the query tools Z=-4.672, p<0.001.

객체 데이타베이스를 위해 최근에 제안된 VOQL(Visual Object Query Language)은 경로식과 집합 관련 조건을 시각화하고 형식 시맨틱을 제공하는데 성공적이었다. 그러나 기존의 VOQL은 몇가지 문제들이 있다. VOQL에서는 집합 관련 조건만이 허용되고, 변수 개념을 위한 명시적인 언어 구문이 없어서 질의문들은 종종 어색하고 직관적이지 못하다. 본 논문에서는 이러한 문제들을 극복하도록 VOQL을 확장한 VOQL*를 제안한다. 시각변수 개념을 도입하고 이에 기초하여 VOQL의 문법과 시맨틱을 수정하였다. VOQL*의 언어 구문들은 OOPC의 문법을 반영하도록 조심스럽게 정의되어서, 시각변수, 시각요소, VOQL* 단순 텀(term), VOQL* 구조 텀, VOQL* 기본 포뮬라(formula), VOQL* 포뮬라, VOQL* 질의문 등의 VOQL* 구문들이 OOPC 구문들처럼 계층적이고 귀납적으로 구성되어 있다. 가장 중요한 것은 VOQL*의 각 구문의 시맨틱이 OOPC를 사용하여 재귀적 방법을 통한 형식 정의가 이루어진다는 점이다. 잘 정의된 문법과 시맨틱으로 말미암아, VOQL*의 질의문들은 명확하고 간결하고 직관적이다. 또한 VOQL* 질의문을 OOPC 질의문으로 번역하는 효과적인 절차를 제공한다. VOQL*는 로직의 문법적 구조를 반영하는 잘 정의된 문법과 귀납적 방법으로 형식 시맨틱을 제공하는 첫번째 시각 질의어이다.

The Visual Object Query Language (VOQL) recently proposed for object databases has been successful in visualizing path expressions and set-related conditions, and providing formal semantics. However, VOQL has several problems. Due to unrealistic assumptions, only set-related conditions can be represented in VOQL. Due to the lack of explicit language construct for the notion of variables, queries are often awkard and less intuitive. In this paper, we propose VOQL*, which extends VOQL to remove these drawbacks. We introduce the notion of visual variables and refine the syntax and semantics of VOQL based on visual variables. We carefully design the language constructs of VOQL* to reflect the syntax of OOPC, so that the constructs such as visual variables, visual elements, VOQL* simple terms, VOQL* structured terms, VOQL* basic formulas, VOQL* formulas, and VOQL* query expressions are hierarchically and inductively constructed as those of OOPC. Most important, we formally define the semantics of each language construct of VOQL* by induction using OOPC. Because of the well-defined syntax and semantics, queries in VOQL* are clear, concise, and intuitive. We also provide an effective procedure to translate queries in VOQL* into those in OOPC. We believe that VOQL* is the first visual query language with the well-defined syntax reflecting the syntactic structure of logic and semantics formally defined by induction.

본 논문에서는 관계형 데이터베이스를 위한 시각 질의어 VRQL 을 소개하고 이를 구현한 프로토타입 시스템 VRQPS(Visual Relational Query Processor System)를 소개한다. VRQL(Visual Relational Qurey Language)은 기존의 객체지향 데이터베이스를 위한 시각질의어 VOQL 을 수정, 보완하여 설계된 시각질의어로 벤 다이어그램과 그래프를 기반으로 하여 직관적이며 관계적으로 완전하다는 특성이 있다. 한편 투플 관계 해석 기반의 형식 시맨틱을 가지고 있어 이론적 기반이 확실한 시각질의어이다. VRQPS 는 VRQL로 정의된 질의문을 SQL로 변환하고 이를 실행하여 그 결과를 화면에 보여 주어 사용에 편리하고 직관적이다.