Earticle

이 연구에서 우리는 대형 디스플레이용 게임을 위한 인터랙션 시스템인 LED-bar를 제안한다. LED-bar는 LED 막대를 이용한 포인팅 시스템으로 게임 상에서 기본이 되는 포인팅, 선택, 이동 등의 인터랙션을 제공한다. 기존의 포인팅 장치들과는 달리 LED-bar는 대형화면에서 절대적인 포인팅 위치를 제공하여 사용자가 느끼는 포인팅 위치와 실제 포인팅 위치를 일치시킬 수 있다는 장점이 있다. 원격 협업 환경에서 원격지의 사용자나 현장의 사용자가 동일한 포인팅 정보를 얻을 수 있게 해준다. 제안하는 LED-bar 시스템은 적외선 필터를 씌운 두 대 이상의 카메라와 적외선 LED가 내장된 반투명 파이프를 이용하여 조명 환경의 변화에 덜 민감하도록 구성되었다. LED-bar는 대형 디스플레이에서 게임할 때, 사용자가 포인팅하는 절대 위치를 계산하여 알려주어 사용자가 직관적으로 포인팅하거나 슈팅할 수 있게 해 준다. 뿐 아니라 사용자의 위치도 계산하여 다중사용자 게임에서 서로 타 사용자의 위치가 어디인지를 파악할 수 있게 하는 장점이 있다.

This paper presents an LED-bar based pointing and interaction tool which may be used for large display games to point at a specific location on the display screen and pick items. Different from previous pointing tools, LED-bar provides absolute pointing location on a large display screen. Proposed LED-bar is based on infrared LEDs that are placed in a translucent bar shape pipe. For robust detection under illumination changes, cameras with IR filters were used for infrared LED-bar detection. For computing pointing locations on the screen, pointing devices’ orientation as well as location was estimated using two or more calibrated cameras. LED-bar is an inexpensive, eye-safe, and intuitive interaction tool that may be used for most non-desktop games. Using LED-bar, user's location as well as the pointing direction is computed. Computed user's location may be used for collaboration in multi-user games.

본 논문에서는 멀티-뷰 카메라에 기반한 실시간 사용자 움직임추적 알고리즘과 이를 활용한 사용자 움직임기 반감성 표현시스템을 제안한다. 사용자에게 보다 자연스럽고 편안한 인간-컴퓨터 상호작용을 지원하기 위해서는 사용자의 자연스러운 움직임을 통해서 사용자의 의도나 감정을 추출할 수 있는 기술이 필요하다. 제안된 방법은 사용자의 움직임을 통해서 사용자의 의도나 감정 상태를 분석하기에 용이한 멀티- 뷰 카메라 기반 사용자 움직임 추적 알고리즘이다. 특히, 제안된 방법에서는 사용자의 움직임을 추적하기 위해서 블루 스크린과 같은 특별한 장치 없이 자연스러운 배경으로부터 사용자 정보만을 분리할 수 있는 사용자 분리 방법을 사용한다. 그리고, 사용자 분리 방법을 통해서 추출된 사용자 정보와 멀티-뷰 카메라를 통해서 획득된 깊이 정보를 이용하여 사용자의 자연스러운 움직임을 추적할 수 있도록 사용자 주변의 공간 에 보이지 않는 박스형태의 공간 센서를 활용한다. 또한, 제안된 방법을 활용하여 사용자의 움직임을 통해 사용자의 감성을 가상공간에 표현할 수 있는 시스템을 구현하였다. 제안된 시스템은 기존의 2차원 시각기 반사용자 움직임추적 시스템의 한계를 극복하고, 실시간 사용자 움직임추적의 계산 복잡성을 해소할 수 있다.

In this paper, we propose a user motion tracking algorithm by using a multiple view camera, and emotional expression system by tracking user's gestures in a personal space. In order to provide more natural and comfortable human-computer interactions to a user, it is essential to extract intentions or emotions of the user through his or her natural movements. Thus, the proposed system can support to analyze intentions or emotions of the user by tracking his or her motions in the personal space. To track motions of the user precisely, the proposed system utilizes a user segmentation method that can extract only the user from a natural background without special devices like blue screen. In addition, it exploits invisible SpaceSensor that can be constructed from segmented results and disparity (depth) map in order to track user's motions. The proposed system can overcome the previous 2D vision-based user motion tracking system and can resolve the complexity of real-time motion tracking algorithms.

본 논문은 대기 인원이 많은 혼잡한 환경에서 대기 시간이 지체되어 관리되지 않는 상황을 효율적으로 관리하는 시스템을 제안한다. 혼잡하고 긴 대기 줄은 불편하고 안전사고를 유발할 수 있다. 기존의 시스템은 단순한 하나의 영상 기반으로 대기 줄을 관리했지만, 혼잡한 상황에 다수의 카메라를 통해서 관리해야 하는 복잡한 상황에서는 적용이 어렵다. 이러한 상황에서 효율적으로 다수의 카메라로 탐지된 하나의 줄을 관리하기 위해 다수의 비전 알고리즘을 융합하여 여러 형태의 대기 줄을 정확하게 인식하는 효율적인 멀티비전 긴 대기 줄 탐지 시스템을 개발하였다. 이 줄 인식 융합 알고리즘은 다수의 카메라의 실시간 영상 데이터를 활용하여 중첩된 부분을 이어 붙여 하나의 실시간 파노라마 영상 이미지로 가공한다. 이러한 영상 데이터를 바탕으로 비전 객체 탐지, 객체 추적, 이미지 스티칭, 각도, 간격, 위치 변화량을 융합해 Queue Recognition 알고리즘을 개발하여, 많은 군중 속에서 다양한 형태의 긴 줄을 인식한다. 본 연구는 다양한 환경에서 실시간 대기 다수의 카메라로 인식된 긴 줄을 탐지하는 융합 알고리즘을 통해서 정확도 96%와 F1-score 92%로 높은 성능을 검증하였다.

This paper proposes a system to efficiently manage delays caused by unmanaged and congested queues in crowded environments. Such queues not only cause inconvenience but also pose safety risks. Existing systems, relying on single-camera feeds, are inadequate for complex scenarios requiring multiple cameras. To address this, we developed a multi-vision long queue detection system that integrates multiple vision algorithms to accurately detect various types of queues. The algorithm processes real-time video data from multiple cameras, stitching overlapping segments into a single panoramic image. By combining object detection, tracking, and position variation analysis, the system recognizes long queues in crowded environments. The algorithm was validated with 96% accuracy and a 92% F1-score across diverse settings.

This paper presents a scalable multiple camera collaboration strategy for active tracking applications in large areas. The proposed approach is based on distributed mechanism but emulates the master-slave mechanism. The master and slave cameras are not designated but adaptively determined depending on the object dynamic and density distribution. Moreover, the number of cameras emulating the master is not fixed. The collaboration among the cameras utilizes global and local sectors in which the visual correspondences among different cameras are determined. The proposed method combines the local information to construct the global information for emulating the master-slave operations. Based on the global information, the load balancing of active tracking operations is performed to maximize active tracking coverage of the highly dynamic objects. The dynamics of all objects visible in the local camera views are estimated for effective coverage scheduling of the cameras. The active tracking synchronization timing information is chosen to maximize the overall monitoring time for general surveillance operations while minimizing the active tracking miss. The real-time simulation result demonstrates the effectiveness of the proposed method.

We propose an global color model based method for tracking motions of multiple human using a networked multiple-camera system in intelligent space as a human-robot coexistent system. An intelligent space is a space where many intelligent devices, such as computers and sensors(color CCD cameras for example), are distributed. Human beings can be a part of intelligent space as well. One of the main goals of intelligent space is to assist humans and to do different services for them. In order to be capable of doing that, intelligent space must be able to do different human related tasks. One of them is to identify and track multiple objects seamlessly. In the environment where many camera modules are distributed on network, it is important to identify object in order to track it, because different cameras may be needed as object moves throughout the space and intelligent space should determine the appropriate one. This paper describes appearance based unknown object tracking with the distributed vision system in intelligent space. First, we discuss how object color information is obtained and how the color appearance based model is constructed from this data. Then, we discuss the global color model based on the local color information. The process of learning within global model and the experimental results are also presented.

본 논문에서는 연결된 다양한 인터페이스를 갖는 비디오 카메라들 중에서 선택된 카메라의 영상을 통신망을 통해 다양한 다수의 외부 수신장치들에게 해당 영상을 전송하고 연결관리를 하는 영상송신시스템을 제안한다. 제안하는 송신시스템은 외부 비디오 카메라들의 연결을 위한 컴포지트 인터페이스와 범용 USB 카메라를 위한 USB 인터페이스, 유무선 송수신 및 ARM 계열의 CPU 모듈, 그 외에 개발을 위한 몇몇 장치들을 연결할 수 있도록 구성된다. 통신망릉 통해 제안한 송신시스템에 접속된 외부 수신장치들은 개별 채널을 할당 받아 특정 카메라 모듈을 선택하여 해당 영상을 수신할 수 있으며, 제안하는 송신시스템은 이를 위해 연결된 다수의 외부 수신장치들과의 연결관리 및 해당 카메라 모듈의 영상을 송신관리 등과 같은 기능으로 구성된다.

디지털 방송 서비스가 시작되고, 기존의 방송 서버에서 사용자에게 방송 콘텐츠를 제공하는 단 방향 방송이 아닌 통신망을 이용하여 사용자가 방송 서버에 정보를 전달하는 양 방향 방송서비스가 가능해졌다. 이에 사용자는 개인이 원하는 장면을 원하는 시간대에 시청하는 맞춤형 방송 서비스에 대한 요구가 생겨나게 되었다. 이러한 맞춤형 방송 서비스에서는 사용자가 입력한 데이터를 바탕으로 검색하기 위한 메타데이터 정보가 중요하다. 본 연구는 기존의 사용자가 원하는 장면별로 시청하는 맞춤형 방송 서비스에서 원하는 장면 뿐 만 아니라 사용자가 보고 싶은 객체를 원하는 카메라 시점에서 시청할 수 있는 객체 중심의 맞춤형 영상미디어 서비스를 위한 메타데이터에 관리 모듈에 대한 연구이다. 본 연구를 통하여 기존의 맞춤형 방송 서비스에 없었던 객체에 대한 세그먼트 정보를 제공해 줌으로써 사용자에게 시청의 폭을 넓혀 시청 만족도를 높일 수 있다.

Since digital broadcasting service has been begun, user's requirements have been increased for personalized broadcasting system that users can watch the part of programs which they want to watch in anytime. In personalized broadcasting system, metadata is important for searching program information based on user's input data. In this paper, an object-oriented media service metadata management module is implemented. Metadata used in this system is described by extending TV-Anytime specifications which is the International standard for personalized media service. For this, extended segments information is provided including object information which do not existing in previous personalized broadcasting standard. This system can provide better satisfaction to users by using object segmentation information.

본 논문에서는 다중 체온 감지용 지능형 카메라를 제안한다. 제안하는 카메라는 광학(4056*3040) 및 열화상(640*480) 2종의 카메라로 구성되고 획득된 영상으로부터 사람의 표정 및 체온을 분석하여 이상 증상을 감지한다. 광학 및 열화상카메라는 동시에 운영되며 광학 영상에서 객체를 검출한 후 얼굴영역을 도출하여 표정분석을 수행한다. 열화상카메라는 광학카메라에서 얼굴영역으로 판단한 좌표 값을 적용하고 해당영역의 최고 온도를 측정하여 화면에 표출한다. 이상 징후 감지는 분석된 표정 3가지(무표정, 웃음, 슬픔)와 체온 값을 활용하여 판단하며 제안된 장비의 성능을 평가하기 위해 광학영상 처리부는 Caltech, WIDER FACE, CK+ 데이터셋을 3종의 영상처리 알고리즘(객체검출, 얼굴영역 검출, 표정분석)에 적용하였다. 실험결과로 객체검출률, 얼굴영역 검출률, 표정분석률 각각 91%, 91%, 84%을 도출하였다.

In this paper, we propose an intelligent camera for multiple body temperature detection. The proposed camera is composed of optical(4056*3040) and thermal(640*480), which detects abnormal symptoms by analyzing a person's facial expression and body temperature from the acquired image. The optical and thermal imaging cameras are operated simultaneously and detect an object in the optical image, in which the facial region and expression analysis are calculated from the object. Additionally, the calculated coordinate values from the optical image facial region are applied to the thermal image, also the maximum temperature is measured from the region and displayed on the screen. Abnormal symptom detection is determined by using the analyzed three facial expressions(neutral, happy, sadness) and body temperature values. In order to evaluate the performance of the proposed camera, the optical image processing part is tested on Caltech, WIDER FACE, and CK+ datasets for three algorithms(object detection, facial region detection, and expression analysis). Experimental results have shown 91%, 91%, and 84% accuracy scores each.

최근, 현실 세계에 가상 정보를 융합하여 현실에서는 할 수 없는 경험을 제공하는 혼합현실 (MR) 기술에 관심이 쏟아지고 있다. 혼합현실은 현실과 상호 작용이 우수하며 몰입감을 극대화 시킨다는 장점이 있다. 본 논문에서는 실사 기반 전방위 3D 모델 획득 기술에 대한 필요성을 언급하며 다시점 깊이 및 RGB 카메라 시스템을 이용하여 혼합현실 콘텐츠 제작을 위한 포인트 클라우드를 획득하는 방법을 제시한다.

Recently, attention has been focused on mixed reality (MR) technology, which provides an experience that can not be realized in reality by fusing virtual information into the real world. Mixed reality has the advantage of having excellent interaction with reality and maximizing immersion feeling. In this paper, we propose a method to acquire a point cloud for the production of mixed reality contents using multiple Depth and RGB camera system.

최근 현실감 있는 경험을 제공하기 위한 몰입형 가상현실(VR) 기술에 대한 연구 개발이 활발하게 진행되고 있다. 가상현실 참여자에게 실제와 유사한 실감적인 가상현실 체험을 제공하기 위해서는 실제 현실 공간에 존재하는 환경 및 객체의 정보를 정밀하게 캡처 및 복원하여 가상 환경 시스템의 모델 데이터로 적용한 시스템 구성이 필요하다. 이러한 가상 환경 구성에 필요한 실 데이터를 획득하기 위해서는 다수의 비정형 카메라를 활용한 셋업으로 이루어진다. 하지만, 다수의 비정형 위치의 카메라를 활용해 실제 공간에서의 3차원으로 구성된 정보를 획득할 경우 카메라의 개수 및 위치가 최적화되지 않아 복원의 오류가 발생할 수 있다. 또한, 정밀한 객체 복원을 위해 과도한 양의 비정형 카메라가 배치될 경우 비정형 카메라 배치에 따른 자원의 낭비 또한 발생할 수 있어 적절한 개수의 비정형 카메라가 배치되어야 한다. 본 논문에서는 3차원 공간 데이터를 복원 시 필요한 정보를 얻기 위해 배치되는 다수의 비정형 카메라를 최적화할 수 있는 최적 카메라 배치(Optimal Camera Placement) 학습 기법을 제안한다. 본 논문에서 제안한 방법을 통해 실제 환경 정보 획득 시 정확한 형태의 복원 데이터를 이용하여 가상 환경을 생성하고, 더욱 몰입도 높은 실감형 콘텐츠 시스템을 사용자에게 제공할 수 있다.

Recently, research and development on immersive virtual reality(VR) technology to provide a realistic experience is being widely conducted. To provide realistic experience in immersive virtual reality for VR participants, virtual environments should consist of high-realistic environments using 3D reconstruction. In this paper, to acquire 3D information in real space using multiple cameras in the reconstruction process, we propose a novel method of optimal camera placement for accurate reconstruction to minimize distortion of 3D information. Through our approach in this paper, real 3D information can obtain with minimized errors during environment reconstruction, and it is possible to provide a more immersive experience with the created virtual environment.

디지털 카메라(Digital Camera)와 같은 휴대형 영상 입력 장치(Portable Image Input Device)는 스캐너 (Scanner)와 달리 3 차원의 피사체(Object)를 디지털 영상으로 생성할 수 있고 다양한 조명 환경(Illuminant)에서 사용할 수 있다는 이유로 많은 응용 분야에서 활발하게 사용되고 있다. 그러나, 정확한 색 재현(Color Reproduction)을 위한 기존의 디지털 카메라 특성화 방법(Digital Camera Characterization Method)은 생성된 영상의 조명 정보를 고려하지 않은 상태에서 색 변환 행렬을 생성하므로 다양한 조명 환경 변화에 대해 적응적으로 대처하지 못하는 단점이 있다. 본 논문에서는 디지털 카메라가 생성하는 영상의 rgb 색도를 이용하여 색도 평면에 색도 다각형(Chromaticity Polygon)을 구성하고 각 색도 다각형들간의 포함 관계에 따라 조명 정보를 평가함으로써 조명색(Illuminant Color)의 변화에 따른 인간 시각 시스템(Human Visual System)의 색 불변성(Color Constancy)을 재현할 수 있는 디지털 카메라 특성화 방법을 제안한다.

디지털 카메라에 의해 획득된 RGB 칼라 신호는 디지털 카메라의 하드웨어적인 특성에 따라 서로 다른 값을 가지는 장비 의존적(Device Dependent) 특성을 가지며, 칼라 운영 시스템(CMS; Color Management System)이 프로파일 연결 칼라 공간(PCS:Profile Connection Space)으로 사용하는 CIE XYZ 칼라 공간에 대해 비선형적인 특성을 가진다. 본 논문에서는 디지털 카메라의 RGB 칼라 신호를 장비 독립적(Device Independent)인 CIE XYZ 칼라 공간으로 변환하는 변환 행렬을 구하는 방법을 제안한다. 변환 행렬은 비선형 다항식을 이용하여 3$\times$m의 변환 행렬을 구하고, 실험에 사용되는 칼라 샘플의 수에 따른 일반화(Generalization) 성능을 평가한다.

인터넷 웹 기반의 Home Securiy, ITS(Intelligent Traffic System), 관광산업, 생산현장 등 여러 분야에서 네트워크 카메라를 이용한 영상정보 시스템이 각광을 받고 있으며, 이에 따른 네트워크 카메라의 수요가 급속하게 증가하고 있다. 또한 이를 제어하기 위해서 비디오 서버가 복잡해짐에 따라 많은 비용이 드는 문제를 가지고 있다. 따라서 본 논문에서는 카메라 수의 증가에 따른 비디오 서버의 복잡성과 비용 문제를 해결하고자 다중 채널을 통해 입력되는 카메라의 영상 정보를 1채널 멀티플랙스 스위칭 처리를 하고 또한 영상 데이터를 자동으로 스위칭하는 시스템을 구현 하였다.

Internet of the Web-based Home Securiy, ITS (Intelligent Traffic System), the tourism industry, production field, etc In many fields, using a network camera imaging system has been spotlighted and Accordingly the demand for network cameras is growing rapidly. in order to control it according to the video server complex has a costly problem. In this paper, according to an increasing number of cameras cost and complexity of the video server problems to solve information from video cameras through multi-channel input single-channel multiplex and the fact that switching is handled and Also, the system automatically switches the image data is implemented.

현재 영상감시 시스템에서 얼굴 인식을 통한 사람의 신원 확인은 정면 얼굴이 아닌 관계로 매우 어려운 기술에 속한다. 일반적인 사람들의 얼굴 영상과 입력된 얼굴 영상을 비교하여 유사도를 파악하고 신원을 확인 하는 기술은 각도의 차이에 따라 정확도의 오차가 심해진다. 이런 문제를 해결하기 위해 본 논문에서는 POSIT을 사용하여 얼굴 포즈 측정을 하고, 추정된 각도를 이용하여 3D 얼굴 영상을 제작 후 매칭 하여 일반적인 정면 영상끼리의 매칭이 아닌 rotated face를 이용한 매칭을 해보기로 한다. 얼굴을 매칭 하는 데는 상용화된 얼굴인식 알고리즘을 사용하였다. 얼굴 포즈 추정은 $10^{\circ}$이내의 오차를 보였고, 얼굴인증 성능은 약 95% 정도임을 확인하였다.

Face recognition is a big challenge in surveillance system since different rotation angles of the face make the difficulty to recognize the face of the same person. This paper proposes a novel method to recognize face with different head poses by using 3D information of the face. Firstly, head pose estimation (estimation of different head pose angles) is accomplished by the POSIT algorithm. Then, 3D face image data is constructed by using head pose estimation. After that, 2D image and the constructed 3D face matching is performed. Face verification is accomplished by using commercial face recognition SDK. Performance evaluation of the proposed method indicates that the error range of head pose estimation is below 10 degree and the matching rate is about 95%.

본 논문에서는 실내에서 액티브 카메라를 사용하여 다중 인물의 얼굴의 위치를 검출하고. 추적할 수 있으며 조명과 배경 등의 영향에 강인한 추적 알고리즘을 제시하고자 한다. 알고리즘은 얼굴영역 검출, 추적의 2단계로 구성되며, 빠르고 효율적인 얼굴영역 검출은 추적 알고리즘의 성능향상으로 이어지므로, 이를 위해 독특한 색상영역 분포를 갖는 피부 색상 특징을 이용하였다. 표본영상에서 추출된 피부색상 픽셀들을 바탕으로 YCbCr 색상계를 사용하여 얼굴 색상모델을 구축한 후, Gaussian 함수를 사용하여 입력 영상의 픽셀과 얼굴색상모델과의 유사도를 결정하였다. 최종 얼굴 영역은 추출된 영역에 대한 얼굴의 타원특징, 해부학적 특징을 이용하여 결정된다. 추적은 추출된 얼굴영역과 temporal Gaussian 필터를 적용한 움직임 추정을 통한 움직임 검출의 조합으로 이루어진다. 또한, 예측버퍼의 사용으로 탐색영역의 축소로 인한 계산량 감소와 처리 속도의 증가시켰으며, pan/tilt가 가능한 카메라를 사용하여 상호 피드백이 가능하도록 하였다. 제시된 알고리즘은 PC 상에서 시뮬레이션되었으며, 좋은 결과를 얻을 수 있었다.

본 논문은 스테레오 카메라를 이용한 이동 카메라 환경에서 다수의 사람을 검출하여 검출된 사람을 추적하는 방법을 제안한다. 카메라가 이동하게 되면 카메라의 움직임과 검출 대상이 되는 사람의 움직임이 동시에 발생하기 때문에 카메라 움직임을 변환 모델을 사용하여 보정하고, 독립적인 움직임을 추출하여 사람을 검출 하였다. 추적은 검출된 사람 영역의 컬러 분포에 기반하여 평균 이동(Mean Shift) 알고리즘을 적용하였다. 평균 이동 알고리즘은 빠르고 안정적인 성능으로 실시간 추적에 적합하다. 그러나 객체의 컬러 정보만으로는 배경과 컬러 분포가 유사한 객체의 경우 추적에 실패할 수 있는 단점이 있다. 이점을 보완하기 위하여 본 논문에서는 변위 지도(Disparity map)를 결합하여 객체와 배경을 분리하는 깊이 마스크를 생성하였다. 변위 지도를 사용하여 다수의 사람이 등장 할 경우 발생하는 가려짐, 겹침 등 다양한 실내 환경에서 발생하는 문제도 해결 하였다. 본 논문에서 제안하는 알고리즘은 다양한 데이터에 대해서 실험한 결과 정확한 검출과 추적에 우수한 성능을 확인 할 수 있었다.

본 논문에서는 이동 카메라 영상에서 움직임 정보와 SVM(Support Vector Machine)을 이용하여 다수의 보행자를 검출하는 방법을 제안하였다. 먼저 연속된 영상의 특징점을 이용하여 카메라 자체의 움직임 보상을 한 후 차 영상과 프로젝션 히스토그램을 통해 움직이는 보행자를 검출한다. 차 영상을 이용한 보행자 검출은 간단한 방법이지만 움직임이 없는 보행자는 검출하지 못하는 단점이 있다. 따라서 이러한 단점을 보완하기 위하여 SVM을 이용하여 움직이지 않는 보행자를 검출하였다. SVM은 보행자 검출과 같은 이진 분류 문제에 우수한 성능을 보이는 것으로 알려져 있다. 하지만 영상 내에 보행자가 서로 인접해 있거나 팔과 다리를 과도하게 움직이는 경우 검출하지 못하는 단점이 있다. 그러므로 본 논문에서는 움직임 정보와 SVM을 이용하여 움직임이 없는 보행자와 보행자가 서로 인접해 있거나 과도한 동작을 취하는 경우에도 강건하게 검출할 수 있는 방법을 제안하였다. 본 논문에서 제안된 방법의 성능을 평가하기 위하여 다양한 실세계 영상을 이용하여 수행하였으며, 그 결과 평균 검출률이 94%, FP(False Positive)가 2.8%로 제안된 방법의 우수성을 입증하였다.

In this paper, we proposed the method detecting multiple pedestrians using motion information and SVM(Support Vector Machine) from a moving camera image. First, we detect moving pedestrians from both the difference image and the projection histogram which is compensated for the camera ego-motion using corresponding feature sets. The difference image is simple method but it is not detected motionless pedestrians. Thus, to fix up this problem, we detect motionless pedestrians using SVM. The SVM works well particularly in binary classification problem such as pedestrian detection. However, it is not detected in case that the pedestrians are adjacent or they move arms and legs excessively in the image. Therefore, in this paper, we proposed the method detecting motionless and adjacent pedestrians as well as people who take excessive action in the image using motion information and SVM. The experimental results on our various test video sequences demonstrated the high efficiency of our approach as it had shown an average detection ratio of 94% and False Positive of 2.8%.

파노라마 영상은 카메라 시야각의 제한을 극복하여 넓은 시야를 가질 수 있으므로 컴퓨터 비전, 스테레오 카메라 등의 분야에서 효율적으로 연구되고 있다. 파노라마 영상을 생성하기 위해서는 왜곡이 생기는 광각 카메라를 사용하는 대신 다수의 일반 카메라로 촬영한 영상들을 스티칭 하는 것이 영상의 왜곡 현상을 줄일 수 있기에 많이 활용되어지고 있다. 영상 스티칭 기술은 여러 영상에서 추출한 특징점의 디스크립터를 생성하고, 특징점들 간의 유사도를 비교하여 영상들을 이어 붙여 큰 하나의 영상으로 만드는 것이다. 각각의 특징점은 수십 수백차원의 정보를 가지고 있고, 스티칭 할 영상이 많아질수록 데이터 처리 시간이 증가하게 된다. 특히, 하나의 객체에 대하여 다수의 불특정 카메라에 의해 촬영한 영상들을 기반으로 파노라마를 생성할 경우, 유사한 영상들에 대한 중복적 특징점 추출의 과정을 거치기에 그 처리 시간은 더욱 증가한다. 본 논문에서는 이와 같이, 하나의 객체 또는 환경에 대하여 불특정 다수의 카메라에서 획득한 영상을 기반으로 스티칭을 효율적으로 처리하기 위한 전처리 과정을 제안한다. 그 방법으로 카메라 센서 정보를 기반으로 영상들을 미리 그룹화 하여 한 번에 스티칭 할 영상의 수를 줄임으로써 데이터 처리 시간을 줄일 수 있다. 후에 계층적으로 스티칭 하여 하나의 큰 파노라마를 만든다. 본 논문에서 제안한 그룹핑 전처리를 통해 다수의 영상을 대상으로 한 스티칭 시간이 대폭 감소하는 것을 실험 결과를 통해 검증하였다.

Since the panoramic image can overcome the limitation of the viewing angle of the camera and have a wide field of view, it has been studied effectively in the fields of computer vision and stereo camera. In order to generate a panoramic image, stitching images taken by a plurality of general cameras instead of using a wide-angle camera, which is distorted, is widely used because it can reduce image distortion. The image stitching technique creates descriptors of feature points extracted from multiple images, compares the similarities of feature points, and links them together into one image. Each feature point has several hundreds of dimensions of information, and data processing time increases as more images are stitched. In particular, when a panorama is generated on the basis of an image photographed by a plurality of unspecified cameras with respect to an object, the extraction processing time of the overlapping feature points for similar images becomes longer. In this paper, we propose a preprocessing process to efficiently process stitching based on an image obtained from a number of unspecified cameras for one object or environment. In this way, the data processing time can be reduced by pre-grouping images based on camera sensor information and reducing the number of images to be stitched at one time. Later, stitching is done hierarchically to create one large panorama. Through the grouping preprocessing proposed in this paper, we confirmed that the stitching time for a large number of images is greatly reduced by experimental results.