Earticle

현재 인터넷으로 감시 카메라를 이용하여 교통량을 보여주는 서비스가 제공되고 있으나, 일반적으로 사용자 가 지도 위의 일정 위치를 지정하면 카메라가 장착되어 있는 기준으로 영상을 보여준다. 본 논문에서는 상단이 북쪽 으로 표시되는 일반적인 지도에 현재 카메라에서 촬영되고 있는 도로의 영상을 지도 기준으로 위에서 바라보는 시점 (Bird’s-eye view)으로 변형(Warping)하여 보여줌으로써 사용자가 직관적으로 현재의 도로 상황을 한눈에 볼 수 있는 시스템을 제안하였다. 본 논문에서는 카메라 영상에서 보여주고 있는 도로 평면을 강인하게 추정하기 위해 밝기 변 화에 강인할 수 있는 움직임 벡터를 이용하여 도로 평면을 추정하는 방법을 제안하며, 지도와 같은 방향성을 가질 수 있도록 재조정하는 과정을 적용하고 지도 위에 표시할 수 있는 사용자 친화적인 인터페이스를 제시하였다. 실험 결과를 통해 본 논문에서 제안하는 방법이 지도와 같이 사용자가 인지하기 편리한 영상으로 변형되는 결과를 확인하였다.

Currently, a traffic monitoring service using a surveillance camera is provided through internet. In general, if the user points a certain location on a map, then this service shows the real-time image of the camera where it is mounted. In this paper, we proposed the intuitive surveillance monitoring system which displays a real-time camera image on the map by warping with bird’s-eye view and with the top of image as the north. In order to robustly estimate the road plane using camera image, we used the motion vectors which can be detected to changes in brightness. We applied a re-adjustment process to have the same directivity with a map and presented a user-friendly interface that can be displayed on the map. In the experiment, the proposed method was presented as the result of warping image that the user can easily perceive like a map.

카메라를 머리에 쓰는 웨어러블 환경에서 손 제스처를 이용한 직관적인 사용자 입력 인터페이스를 제공하려면 착용 자의 머리 움직임에 따른 카메라 움직임에 대한 고려가 필요하다. 본 논문에서는 이러한 동적 카메라 환경에서 손 제스처 인터페이스를 바르게 인식할 수 있도록 특징점 기반 카메라 트래킹을 이용한 손 움직임 보정기법을 제안한 다. 본 방법은 공간 영상에서 특징점 기반 정적 배경 객체를 검출한 후 실시간으로 입력된 카메라 영상에서 해당 배 경 객체와 매칭을 수행하여 카메라의 움직임 정보를 획득한다. 획득된 카메라 정보를 기반으로 현 프레임의 손 위치 를 보정하여 보다 정확한 손 움직임 정보를 구한다. 본 논문에서 정의한 스마트 TV를 위한 손 제스처 입력 인터페 이스에 대하여 실험한 결과 움직임 보정을 하지 않았을 때는 52%의 저조한 인식률을 보인데 반해 제안방법을 적용 하면 89%의 높은 인식률을 보였고, 26 fps 이상의 처리 속도를 보여 실시간으로 활용이 가능함을 알 수 있었다. 본 방법은 스마트 글래스 환경에서 손 제스처를 이용한 비접촉식 사용자 입력 인터페이스로 활용될 수 있다.

In order to provide an intuitive user-friendly input interface using hand gestures in a head mounted camera based wearable environment, it is necessary to consider the hand and camera movements according to the wearer's flow applied at the same time. This paper proposes a correction method on the hand motion using feature-point-based camera tracking for the dynamic camera environment. For this, we extract static background objects from the environment images. Next, in real-time we acquire the movement information of the camera by matching the correspondence points between the background objects detected from the camera input image and the stored background objects, and thereby obtain a more accurate hand motion information by correction the hand position of current frame based on the acquired camera information. As a result of the experiment on hand gesture interface defined in this paper, this method showed about 89 % recognition rate compared to 52 % obtained when no motion correction is performed, while showing processing speed of more than 26 fps, which indicates that it can be utilized in real time. In addition, this method is expected to be used as a contact-less user input interface in the smart glass environments.

Passive ranging is a critical part of machine vision measurement. Most of passive ranging methods based on machine vision use binocular technology which need strict hardware conditions and lack of universality. To measure the distance of an object placed on horizontal plane, we present a passive ranging method based on monocular vision system by smartphone. Experimental results show that given the same abscissas, the ordinatesis of the image points linearly related to their actual imaging angles. According to this principle, we first establish a depth extraction model by assuming a linear function and substituting the actual imaging angles and ordinates of the special conjugate points into the linear function. The vertical distance of the target object to the optical axis is then calculated according to imaging principle of camera, and the passive ranging can be derived by depth and vertical distance to the optical axis of target object. Experimental results show that ranging by this method has a higher accuracy compare with others based on binocular vision system. The mean relative error of the depth measurement is 0.937% when the distance is within 3 m. When it is 3-10 m, the mean relative error is 1.71%. Compared with other methods based on monocular vision system, the method does not need to calibrate before ranging and avoids the error caused by data fitting.

본 논문은 3차원 모델링을 위한 두 개의 3차원 데이터들을 정합하는데 있어서 효율적인 방법을 제안한다. 3차원 데이터들은 서로 임의의 각도에서 취득한 것으로 취득 장치의 위치 및 2차원 영상정보가 포함 되어있다. 이 정보들을 이용하여 보다 빠르고 정확한 정합을 이루는 방법을 제안한다. 2차원 영상정보를 이용하여 보다 쉽게 대응점들을 찾아내는 것으로 대응하는 4개의 점에 대한 체적을 이용하여 모형의 크기를 일치시킨다. 또한, 이 점들로부터 얻어낸 좌표축의 호모그라피(homography)를 추출해냄으로써 2개의 데이터에 대한 정합과정은 보다 빠르고 정확하게 이루어진다. 제안한 알고리즘의 장점은 2차원 영상정보를 이용하기 때문에 정합하는 데에 있어서 오류가 적고 반복하는 과정이 불필요하다. 또한, 취득된 2차원 영상정보를 정합하고, 이를 3차원 모형에 2차원 영상을 씌움으로써 정합은 완벽하게 이루어진다.

The purpose of this study is to propose the efficient method of 3D data registration. Three-dimensional data including the two-dimensional image acquisition apparatus and the position information are acquired at an arbitrary angle with each other. This paper proposes the more accurate and faster matching method by using this information. Four image points founded from 2D images match the volumetric size of the model and compute the homography of the axis for registration between two 3D data sets. The advantages of the proposed algorithm are the repeating process is unnecessary and the process time is faster than prvious method.

파노라마 영상은 여러 시점에서 촬영한 영상들을 대응점들의 정합을 통해 합성하여 얻은 단일 영상을 말한다. 기존의 파노라마 영상 생성 방법들은 대응점들을 구할 때 각 영상에서 지역적 불변 특징점을 추출하여 서술자를 생성하고 매칭 알고리즘을 사용한다. 동영상의 경우, 프레임 수가 많아 기존의 방법으로 파노라마 영상을 생성하는 것이 상당한 시간을 소비하고 불필요한 계산을 한다. 본 논문에서는 동영상을 입력 받아 구면 파노라마 영상을 효과적으로 생성하는 기법을 제안한다. 동영상의 프레임 간의 변화가 지역적으로 크지 않으며 연속적이라는 전제 조건으로 반복성 및 계산속도가 높은 FAST 알고리즘을 사용하여 특징점들을 추출하고, Lucas-Kanade 알고리즘을 통해 각 특징점들을 추적하여 그 주변에서 대응점을 찾는다. 모든 영상에 대해서 호모그래피를 계산하면 가운데 영상을 중심으로 호모그래피를 변경하고 영상을 와핑하여 평면 파노라마 영상을 얻는다. 마지막으로 구면 좌표계 역변환식을 통해 구면 파노라마 영상을 변환하여 얻는다. 실험을 통하여 제안하는 방법이 기존의 방법들보다 파노라마 영상을 빠르고 효과적으로 생성하는 것을 확인하였다.

Panorama image is a single image obtained by combining images taken at several viewpoints through matching of corresponding points. Existing panoramic image generation methods that find the corresponding points are extracting local invariant feature points in each image to create descriptors and using descriptor matching algorithm. In the case of video sequence, frames may be a lot, so therefore it may costs significant amount of time to generate a panoramic image by the existing method and it may has done unnecessary calculations. In this paper, we propose a method to quickly create a single panoramic image from a video sequence. By assuming that there is no significant changes between frames of the video such as in locally, we use the FAST algorithm that has good repeatability and high-speed calculation to extract feature points and the Lucas-Kanade algorithm as each feature point to track for find the corresponding points in surrounding neighborhood instead of existing descriptor matching algorithms. When homographies are calculated for all images, homography is changed around the center image of video sequence to warp images and obtain a planar panoramic image. Finally, the spherical panoramic image is obtained by performing inverse transformation of the spherical coordinate system. The proposed method was confirmed through the experiments generating panorama image efficiently and more faster than the existing methods.

최근 전 지구적인 기후변화에 따른 자연재해 피해의 대규모화로 인하여 재해 모니터링과 방재 등 재난재해 분야에서 원격탐사 기술을 적용한 시스템이 구축되고 있다. 다양한 원격탐사 플랫폼 중 드론은 기술의 확산 발전으로 민간분야에서도 활발하게 활용되고 있으며, 적시성, 경제성 등의 장점으로 재난재해 분야에서의 적용이 증대되고 있다. 본 논문은 이러한 드론 기반의 재난재해 모니터링 시스템 구축의 요소 기술인, 준 실시간으로 드론 영상자료를 매핑할 수 있는 전처리 시스템 개발에 관한 것이다. 연구를 위해 컴퓨터 비전 기술 중 SURF 알고리즘을 기반으로 레퍼런스 영상과 촬영 영상 간 특징점 매칭을 통해 보정하는 시스템을 구축하였다. 연구 대상 지역은 가화강 하류 지역과 대청댐 유역으로 선정하였으며, 두 지역은 매칭을 위한 특징점이 많고 적음의 차이가 뚜렷하여 다양한 환경에서 시스템 적용 가능성을 위한 실험에 적합하다. 연구 결과 두 지역의 기하보정 정확도가 0.6m와 1.7m로 각각 나타났으며 처리시간 또한 1장당 30초 내외로 나타났다. 이는 적시성 을 요하는 재난재해 분야에서 본 연구의 적용 가능성이 높음을 시사한다. 그러나 레퍼런스 영상이 없거나 정확도가 낮은 경우는 보정 결과가 떨어지는 한계점이 있다.

Recently, due to the large-scale damage of natural disasters caused by global climate change, a monitoring system applying remote sensing technology is being constructed in disaster areas. Among remote sensing platforms, the drone has been actively used in the private sector due to recent technological developments, and has been applied in the disaster areas owing to advantages such as timeliness and economical efficiency. This paper deals with the development of a preprocessing system that can map the drone image data in a near-real time manner as a basis for constructing the disaster monitoring system using the drones. For the research purpose, our system is based on the SURF algorithm which is one of the computer vision technologies. This system aims to performs the desired correction through the feature point matching technique between reference images and shot images. The study area is selected as the lower part of the Gahwa River and the Daecheong dam basin. The former area has many characteristic points for matching whereas the latter area has a relatively low number of difference, so it is possible to effectively test whether the system can be applied in various environments. The results show that the accuracy of the geometric correction is 0.6m and 1.7m respectively, in both areas, and the processing time is about 30 seconds per 1 scene. This indicates that the applicability of this study may be high in disaster areas requiring timeliness. However, in case of no reference image or low-level accuracy, the results entail the limit of the decreased calibration.

최근 드론, 액션캠 등과 같은 촬영 장비의 활성화로 다양한 전역 움직임을 내포한 영상들이 많이 생성되고 있다. 이때 회전, 확대, 축소 등의 움직임이 발생한 경우, 2D motion vector를 활용하는 기존의 화면 간 예측 방법은 높은 부호화 효율을 기대하기 어렵다. 본 논문에서는 전역 움직임을 homography 참조 픽처를 통해 반영한 비디오 부호화 방법을 제안한다. 제안방법으로, 1) 현재 픽처와 참조 픽처간 전역 움직임 관계를 homography로 파악하여 새로운 참조 픽처를 생성하는 방법, 2) homography 참조 픽처를 화면 간 예측에 활용하는 방법이 있다. 실험은 HEVC 참조 소프트웨어인 HM 14.0에 적용하였고, 실험결과 RA 기준 6.6% 부호화 효율이 증가했다. 특히, 회전 전역 움직임을 지니는 영상을 이용한 실험 결과에서는 기존대비 최대 32.6%의 부호화 효율이 증가하는 결과를 나타내어, 드론과 같이 복잡한 전역 움직임이 자주 나타나는 비디오에서 높은 효율을 보일 수 있을 것으로 기대된다.

Recently, a lot of images containing various global movements have been generated by the activation of the photographic equipment such as the drone and the action cam. In this case, when the motion such as rotation, scaling is generated, it is difficult to expect a high coding efficiency in the conventional inter-picture prediction method using the 2D motion vector. In this paper, we propose a video coding method that reflects global motion through homography reference pictures. As a proposed method, there are 1) a method of generating a new reference picture by grasping a global motion relation between a current picture and a reference picture by homography, and 2) a method of utilizing a homography reference picture for inter-picture prediction. The experiment was applied to the HEVC reference software HM 14.0, and the experimental result showed an increase in encoding efficiency of 6.6% based on RA. Especially, the results using the videos with rotational motion have a maximum coding efficiency of 32.6%, which is expected to show high efficiency in video, which is often represented by complex global motion such as drones.

최근 다양하게 등장하고 있는 운전자를 위한 보조 장치 중 운전자의 주차를 위해 사용되는 장치들 중 하나인 차량용 카메라는 주로 차량 후방의 번호판 위에 주로 위치하여 운전자의 주차에 도움을 주는 역할에 사용이 되고 있다. 최근에는 이러한 카메라를 이용하여 전 후방 및 좌 우측을 모두 보여주기 위한 AVM(Around View Monitor) 시스템이 개발되었다. 그러나 다수의 카메라를 사용하는 AVM시스템에서 운전자에게 통합된 영상을 제공하기 위해서는 카메라의 방사왜곡보정과 호모그래피(Homography) 알고리즘을 통해 정합하는 과정이 필요하다. 본 논문에서는 호모그래피 과정에서 결과 영상의 품질을 개선하기 위한 방법을 제안한다. 또한, 제안하는 방법을 구현하여 기존의 8DOF(Degree of Freedom)을 사용한 방법과 결과 영상의 품질을 비교함으로써 개선된 영상을 제공할 수 있음을 제시한다.

자동차를 위한 전방향(omnidirectional) 감시 시스템, 교통 정보 수집 시스템 등 다양한 비젼 시스템에 카메라가 장착되어 사용되고 있다. 최근에는 운전자의 편의를 위하여 광각 카메라의 비선형적인 방사 왜곡을 해결하는 왜곡 보정 작업 등의 영상처리 시스템이 많이 발전하여 운전자의 사각지대를 효율적으로 최소화하고 있다. 그러나 기존의 연구에서는 카메라로부터 입력되는 왜곡 영상을 보정하는데에 별도의 H/W인 DSP(Digital Signal Processes) 또는 SOC(System On Chp) 형태의 전용 H/W를 추가하여 임베디드 시스템의 성능을 보완하고 있다. 하지만 위와 같은 별도의 H/W를 추가하여 임베디드 시스템의 성능을 보완할 경우 시스템이 복잡해지고 가격이 비싸진다는 단점이 있다. 본 논문에서는 이러한 문제점을 보완하기 위하여 왜곡 보정 알고리즘과 호모그래피(Homography) 알고리즘의 연산량을 감소시켜 임베디드 시스템 환경에서 추가의 H/W 비용없이 왜곡 보정을 수행하는 알고리즘을 제안하고, 제안한 알고리즘을 구현하여 실제 시스템에 적용한 결과를 제시하여 구현 타당성을 검증한다.

본 논문에서는 두 개의 카메라를 이용하여 보다 정확한 동공 인식을 통한 원격방식의 시선 추적을 제안한다. 헤드 장착형 시선추적용으로 개발된 Starburst 알고리즘은 원격방식의 시선추적에서는 카메라가 보다 넓은 영역을 보기 때문에 눈썹, 눈꼬리 등 외란이 많아 스타버스트 알고리즘을 바로 적용하면 동공 중심 추출에 실패하는 경우가 많았다. 이에 템플렛매칭을 이용하여 대략적인 동공영역을 찾고, 찾은 영역 내에서만 스타버스트 알고리즘으로 동공의 경계 후보점들을 찾은 후 보완된 RANSAC 알고리즘으로 타원근사하여 동공의 중심을 추출하였다. 추출된 동공중심을 머리의 움직임에 거의 영향을 받지 않도록 4개의 적외선 LED를 모니터 네 구석에 부착하고 Homography normalization을 적용하였다. 스크린 좌표계로 변환할 때 기존에는 호모그래피를 사용하였으나, 카메라 렌즈의 비선형왜곡을 보상하기 위해 여기서는 고차다항식을 이용한 캘리브레이션 기법을 이용하였다. 끝으로, 두 대의 카메라를 사용하여 정확도와 신회성이 향상됨을 보인다.

In this paper, an accurate remote gaze tracking method with two cameras is presented using a modified Starburst algorithm and honography normalization. Starburst algorithm, which was originally developed for head-mounted systems, often fails in detecting accurate pupil centers in remote tracking systems with a larger field of view due to lots of noises. A region of interest area for pupil is found using template matching, and then only within this area Starburst algorithm is applied to yield pupil boundary candidate points. These are used in improved RANSAC ellipse fitting to produce the pupil center. For gaze estimation robust to head movement, an improved homography normalization using four LEDs and calibration based on high order polynomials is proposed. Finally, it is shown that accuracy and robustness of the system is improved using two cameras rather than one camera.

본 논문에서는 다수의 실내 영상으로부터 영상을 촬영한 카메라의 속성정보와 실내 환경에 대한 기하정보를 추출하는 방법을 제안한다. BSP-Tree를 이용하여 주어진 실영상을 각각의 부분 영역이 실제로도 평면 영역에 해당되도록 분할하였으며, 특징점 대응을 통해 각 분할된 영역의 영상간 대응을 찾고 이로부터 각 분할 영역의 homography를 계산하였다 또한 간단한 가정을 통해 계산된 homography로부터 각 분할영역에 대응된 평면의 방정식과 각 영상을 촬영한 카메라의 속성을 찾아낼 수 있믐을 보였다. 본 논문에서 제안한 방법은 현재 본 연구팀이 구현 중인 영상기반 모델링 시스템에서 핵심적인 기능을 수행하리라 기대된다.

In this paper, we propose an efficient architecture for a real-time image stitching engine for vision SoCs found in motor vehicles. To enlarge the obstacle-detection distance and area for safety, we adopt panoramic images from multiple telegraphic cameras. We propose a stitching method based on a fixed homography that is educed from the initial frame of a video sequence and is used to warp all input images without regeneration. Because the fixed homography is generated only once at the initial state, we can calculate it using SW to reduce HW costs. The proposed warping HW engine is based on a linear transform of the pixel positions of warped images and can reduce the computational complexity by 90% or more as compared to a conventional method. A dual-core SW/HW image stitching engine is applied to stitching input frames in parallel to improve the performance by 70% or more as compared to a single-core engine operation. In addition, a dual-core structure is used to detect a failure in state machines using rock-step logic to satisfy the ISO26262 standard. The dual-core SW/HW image stitching engine is fabricated in SoC with 254,968 gate counts using Global Foundry's 65 nm CMOS process. The single-core engine can make panoramic images from three YCbCr 4:2:0 formatted VGA images at 44 frames per second and frequency of 200 MHz without an LCD display.

It is essential to calibrate a camera in order to recover 3-dimensional reconstruction from uncalibrated images. This paper proposes a new technique of the camera calibration using a homography between the planar patterns image taken by the camera, which is located at the three planar patterns image. Since the proposed method should be computed from the homography among the three planar patterns from a single image, it is implemented more easily and simply to recover 3D object than the conventional. Experimental results show the performances of the proposed method are the better than the conventional. We demonstrate the examples of 3D reconstruction using the proposed algorithm from image sequence.

게이트는 사람의 걷는 방법 혹은 그 특성을 나타내는 용어로써, 최근 컴퓨터 비젼 기술을 이용하여 개개인을 분별하기 위한 게이트 특징 정보를 추출하고자 하는 연구가 활발히 진행되고 있다. 그러나 영상을 기반으로 추출한 게이트 정보는 카메라의 시점에 종속적인 단점을 가지고 있다. 이러한 단점을 해결하기 위한 노력으로 3차원 정보를 획득하려는 연구가 진행되고 있으나 이는 카메라와 사람간의 거리, 카메라 파라미터 등 부가적인 정보를 필요로 한다. 본 논문에서는 영상내의 정보만을 이용하여, 카메라 시점에 종속적인 게이트 인식의 단점을 해결할 수 있는 방안을 제안한다. 먼저 실루엣 영상으로부터 걷는 방향을 찾아내고, 간단한 연산을 통해 평면 호모그래피를 추정한다. 추정된 호모그래피를 이용하여 측면 시점의 영상으로 재구성하면, 시점 변화에 비종속적인 게이트 정보를 추출할 수 있다. 본 논문에서 제안한 방법을 평가하기 위하여 실추엣 영상의 폭과 높이 변화를 비교하였다 실험을 통해 제안한 방법을 적용할 경우, 그렇지 않은 경우에 비하여 특징 변화가 적음을 확인하였고, 특히 보폭 통의 게이트 특징 정보가 일정한 값을 유지함을 볼 수 있었다.

기존 연구에서의 어라운드뷰 모니터링 시스템은 차량에 설치하는 과정에서 호모그래피 행렬 획득 시 평균점을 이용한 호모그래피 변환 방법을 사용했으나, 영상의 흐릿함과 어긋난 매핑을 개선하기 위해 전체점을 이용한 호모그래피 변환 방법이 제안되어 사용되었다. 하지만 전체점을 이용한 호모그래피 변환 방법은 수동적으로 호모그래피 행렬을 획득해야 한다. 그러나 호모그래피 행렬 획득 과정을 자동화한다면 전체점을 이용한 호모그래피 변환 방법이 가진 장점을 모두 살리면서 어라운드뷰 모니터링 시스템을 차량에 설치하는 과정이 단순해진다. 본 논문에서는 차량의 전 후방 및 좌 우측에 장착된 4대의 카메라를 입력받아 카메라 보정 및 호모그래피 변환 측정 과정을 거쳐 차량 주변 상황을 한눈에 보여주는 어라운드뷰 모니터링 시스템 중 호모그래피 변환 측정 과정을 자동화하여 전체 어라운드뷰 모니터링 시스템을 단순화하는 자동 호모그래피 변환 방법을 설명한다. 또한 제안하는 자동 호모그래피 변환 방법을 이용하여 자동화된 어라운드뷰 모니터링 시스템의 구현 가능성을 검증한다.

증강현실은 카메라로 촬영하고 있는 영상에 가상의 객체를 실시간으로 합성하여 가상의 객체가 현실에 존재하는 것처럼 보이게 하는 기술이다. 증강현실에서 현실에 존재하는 물체에 가상의 물체를 증강하기 위해서는 현실에 존재하는 물체의 위치와 방향을 정확하게 추정해야 하는데, 이 때 활용되는 기술이 영상의 호모그래피(Homography) 이다. 이러한 호모그래피는 영상의 특징점 좌표에 RANSAC 알고리즘을 적용하여 추정할 수 있는데, RANSAC 알고리즘을 이용한 호모그래피 추정 방식은 호모그래피를 추정하고자하는 물체 이외의 배경에 특징점이 많을 경우 정확한 호모그래피를 추정할 수 없다는 문제점이 존재했다. 본 논문에서는 호모그래피를 추정하고자하는 물체가 가까이에 있고 배경이 상대적으로 멀리 위치해있을 때 영상 각 픽셀의 거리 값을 알 수 있는 깊이 영상을 활용하면 물체와 배경을 쉽게 분리할 수 있다는 점을 이용하여 배경의 특징점을 필터링하는 방법을 제안한다. 이를 위하여 본 논문에서는 흑백조 영상인 깊이 영상을 Otsu 알고리즘을 이용하여 사용자와 거리가 가까운 영역과 거리가 먼 영역으로 이진화하고, RGB 영상에서 추출된 특징점 중에서 거리가 먼 영역에 위치한 특징점을 제거함으로써 특징점을 활용한 호모그래피 추정 결과를 향상시킨다. 이러한 방법을 기존의 호모그래피 추정 방법에 적용한 결과 수행시간이 71.7% 단축되었으며, RANSAC 알고리즘의 반복 횟수가 69.4% 줄어들었고, 참정보 비율이 16.9% 증가하였다.

Augmented reality is a technology that makes a virtual object appear as if it exists in reality by composing a virtual object in real time with the image captured by the camera. In order to augment the virtual object on the object existing in reality, the homography of images utilized to estimate the position and orientation of the object. The homography can be estimated by applying the RANSAC algorithm to the feature points of the images. But the homography estimation method using the RANSAC algorithm has a problem that accurate homography can not be estimated when there are many feature points in the background. In this paper, we propose a method to filter feature points of a background when the object is near and the background is relatively far away. First, we classified the depth image into relatively near region and a distant region using the Otsu's method and improve homography estimation performance by filtering feature points on the relatively distant area. As a result of experiment, processing time is shortened 71.7% compared to a conventional homography estimation method, and the number of iterations of the RANSAC algorithm was reduced 69.4%, and Inlier rate was increased 16.9%.

간접 시선 추적 시스템은 적외선 조명을 각막에 반사시켜 그 모습을 카메라로 촬영하여 얻은 이미지에서 시선을 계산한다. 적외선 조명이 각막에 반사되어 이미지에 나타난 점을 글린트라고 한다. 최근 간접 추적 시스템은 머리의 움직임에 민감하지 않고 캘리브레이션 과정을 거치지 않도록 하기 위해 여러 개의 적외선 조명, 즉 여러개의 글린트를 사용하는 경우가 많다. 하지만 실험 도중 글린트의 일부가 보이지 않을 수 있는데, 이러한 경우 해당 프레임에서는 시선 계산을 할 수 없게 된다. 본 논문에서는 여러 개의 적외선 조명을 사용하는 시선 추적 시스템에서 여러 가지 이유로 유실되거나 인식이 어려운 글린트의 모습을 살펴본 후, 인식이 가능한 나머지 글린트 위치를 이용하여 이러한 글린트의 위치를 복원하는 알고리즘을 제안한다. 이 알고리즘을 통해 시선 추적 시 유효한 이미지 프레임의 개수를 증가 시키고, 복원 단계에서 글린트의 위치 변형 모델을 이용하여 글린트의 왜곡 또한 보정하여 시선 추적 결과의 오차도 줄일 수 있다.

Remote gaze tracking system calculates the gaze from captured images that reflect infra-red LEDs in cornea. Glint is the point that reflect infra-red LEDs to cornea. Recently, remote gaze tracking system uses a number of IR-LEDs to make the system less prone to head movement and eliminate calibration procedure. However, in some cases, some of glints are unable to spot. In this case, it is impossible to calculate gaze. This study examines patterns of glints that are difficult to detect in remote gaze tracking system. Afterward, we propose an algorithm to reconstruct positions of missing glints that are difficult to detect using other detected glints. Based on this algorithm, we increased the number of valid image frames in gaze tracking experiments, and reduce errors of gaze tracking results by correcting glint's distortion in the reconstruction phase.

평면 추적(planar tracking) 기반의 카메라 추적에 있어, 특징 검출자의 반복성과 특징 기술자(descriptor)의 정합 성능에 따라서 떨림 현상(jitter)이 발생한다. 특히, 모바일 환경에서와 같은 연산력이 부족한 환경에서 고속화를 위해 특징 검출 및 기술 알고리즘을 간략화 시킬 경우, 이러한 떨림 현상은 심각한 문제가 된다. 본 논문에서는 이러한 문제를 해결하기 위해 입력 영상을 워핑(warping)하여 특징 점을 재검출한 후 카메라 영상과 참조 영상(reference image) 사이의 호모그래피를 보완하는 방법을 제안한다. 실험을 통해 제안된 방법이 특징 검출 및 기술 알고리즘의 성능을 보완하여 떨림 현상을 크게(70% 이상) 감소시킴을 확인하였다.

파노라마 영상을 재구성하는 기존의 방법은 Labeling을 이용하여 객체를 비교한 후에 결합시키는 방법을 적용하였으나 시간이 많이 소요되고 각각의 이미지를 Labeling하는 과정에서 개체 간의 불일치가 발생하여 정확히 영상을 결합할 수 없는 경우가 발생한다. 따라서 본 논문에서는 처리 속도 개선을 위하여 전체 이미지의 1/3만 Labeling한 후에 객체 간을 비교하여 결함시킨다. 그리고 각도가 틀린 경우에는 특징점을 찾아내는 SURF 알고리즘을 적용하여 각각의 이미지에서 Labeling한 사각형의 4개의 포인터에 대해 1개의 중심점을 구하여 Homography를 이용하여 2개의 영상을 자연스럽게 정합한다. 본 논문에서 제안한 파노라마 영상 재구성 방법의 성능을 평가하기 위하여 다양한 이미지를 대상으로 실험한 결과, 기존의 방법보다 영상을 재구성하는데 효과적인 것을 확인하였다. 그리고 처리 속도 측면에서도 개선되었다.

본 시스템은 같은 환자로부터 촬영한 기존 안저영상과 초광각 안저영상을 Paired Dataset으로 지니고 있으며, 영상의 크기 및 해상도를 똑같이 맞추고, 황반부와 신경유두 및 혈관의 위치를 미세조정하는 과정을 자동화하는 것을 목표로 하고 있다. 이 과정은 황반부를 중심으로 하여 영상을 잘라내어 이미지의 크기를 맞추는 과정(Scaling)과, 황반부를 중심으로 잘라낸 한 쌍의 영상을 포개었을 때 황반부, 신경 유두, 혈관 등의 위치가 동일하도록 미세조정하는 과정(Warping)이 있다. Scaling Stage에선 기존 안저영상과 초광각 안저영상의 촬영범위가 현저하게 차이나기 때문에, 황반변성 부위를 잘 나타내도록 사전에 잘라낼 필요가 있으며, 이를 신경유두의 Object Detection을 활용할 예정이다. Warping Stage에선 동일한 위치에 같은 황반변성 정보가 내포되어야 하므로 규격조정 및 위치조정 과정이 필수적이며, 이후 안저영상 내의 특징들을 매칭하는 작업을 하기 위해 회전, 회절, 변환 작업 등이 이루어지며, 이는 Homography Estimation을 통하여 이미지 변환 matrix를 구하는 방법으로 진행된다. 자동조정된 안저영상 데이터는 추후에 GAN을 이용한 안저영상 생성모델을 위한 학습데이터로 이용할 예정이며, 현재로선 2500쌍의 데이터를 대상으로 실험을 진행중이지만, 최종적으로 3만 쌍의 안저영상 데이터를 목표로 하고 있다.