Earticle

최근 스마트 시스템 관련한 기술들이 지속적으로 개발되고 있으며, 이는 자동차 분야에서도 많은 연구가 이루어지고있다. 차량의 스마트 시스템은 운전자의 판단 및 조작의 실수 등을 미연에 방지하기 위해서 편의성과 안정성을 보장해야 한다. 본 논문에서는 차량의 주차를 하는 상황에서의 주위 정보를 확인하기 위한 시스템에 대한 방법을 설명하고 있다. 이 논문에서 제안하는 알고리즘은 다음과 같이 진행된다. 차량에 설치된 카메라로 영상을 입력받아 어라운드-뷰 형식으로 변환한다. 이 때 차량 주변의 사각지대를 없애기 위해 총 8대의 카메라를 사용한다. 입력받은 영상에서 SURF 알고리즘을 이용하여 특징점을 추출한 후 스티칭 알고리즘을 이용하여 영상을 정합한다.

Recently, technology related to smart systems has been developed continuously, together with a large number of research in the automotive field. In order to prevent a driver's wrong judgment and operation mistake. The smart vehicle system must ensure convenience and safety in advance. In this paper, we develop the system that checks the information of situation around the parked vehicle. At first, cameras installed on vehicle capture the picture in 360 degree, which is converted to view format. In order to eliminate blind spots around the vehicle, the proposed method uses a total of eight cameras. The proposed method employs the stitching algorithm to align the image after extracting the feature points from the input image.

This paper proposes a fusion algorithm which merges multiple vein pattern images into a single image, larger than those images. As a preprocessing step of template matching, during the verification of biometric data such as fingerprint image, vein pattern image of hand, etc., the fusion technique is used to make reference image larger than the candidate images in order to enhance the matching performance. In this paper, a new algorithm, called BSA (Boundary Stitching Algorithm) is proposed, in which the boundary rectilinear parts extracted from the candidate images are stitched to the reference image in order to enlarge its matching space. By applying BSA to practical vein pattern verification system, its verification rate was increased by about 10%.

For large optical elements which are tested by many sub-apertures, it takes too much time for a sub-aperture stitching algorithm to get the stitching result. To solve this problem, we propose a fast sub-aperture stitching algorithm to quickly compensate for piston, tilt, and defocus errors. Moreover, the new algorithm is easy to understand and program. We use partial derivatives of measurement data to separately solve piston, tilt, and defocus errors. First, we show that the new algorithm has a lower time complexity than the currently used algorithm. Although simulation results indicate that the accuracy of the new algorithm is lower than the current algorithm in all 20 simulations, our experimental results validate the algorithm and show it is sufficiently accurate for general use.

This study proposes a modified sub-aperture stitching algorithm, which uses an image sharpening algorithm and particle swarm optimization to improve the stitching accuracy. In sub-aperture stitching interferometers with high positional accuracy, the high-frequency components of measurements are more important than the low-frequency components when compensating for position errors using a sub-aperture stitching algorithm. Thus we use image sharpening algorithms to strengthen the high-frequency components of measurements. When using image sharpening algorithms, sub-aperture stitching algorithms based on the least-squares method easily become trapped at locally optimal solutions. However, particle swarm optimization is less likely to become trapped at a locally optimal solution, thus we utilized this method to develop a more robust algorithm. The results of simulations showed that our algorithm compensated for position errors more effectively than the existing algorithm. An experimental comparison with full aperture-testing results demonstrated the validity of the new algorithm.

스티칭 기법은 여러 영상에서 추출한 특징점의 디스크립터를 생성하고, 특징점들간의 정합 과정을 통해 하나의 영상으로 만드는 것이다. 각각의 특징점은 128 차원의 정보를 가지고 있고, 특징점의 개수가 증가 할수록 데이터 처리 시간이 증가하게 된다. 본 논문에서는 비디오 영상을 입력 했을 때 고속 파노라마 생성을 위한 특징점 추출 및 정합 기법을 제안한다. 빠른 속도로 특징점 추출을 위해서 FAST(Features from Accelerated Segment Test) 기법을 사용한다. 특징점 정합과정은 기존의 방법과는 다른 새로운 방법을 제안한다. Mean shift를 통해 특징점이 포함된 영역을 추적하여 벡터(vector)를 구하고 이 벡터를 사용하여 추출한 특징점들을 정합하는데 사용한다. 마지막으로 이상점(outlier)을 제거하기 위해 RANSAC(RANdom Sample Consensus) 기법을 사용한다. 입력된 두 영상의 호모그래피(homography) 변환 행렬을 구하여 하나의 파노라마 영상을 생성한다. 실험을 통해 제안하는 기법이 기존의 기법보다 속도가 향상되는 것을 확인하였다.

Stitching algorithm obtain a descriptor of the feature points extracted from multiple images, and create a single image through the matching process between the each of the feature points. In this paper, a feature extraction and matching techniques for the creation of a high-speed panorama using video input is proposed. Features from Accelerated Segment Test(FAST) is used for the feature extraction at high speed. A new feature point matching process, different from the conventional method is proposed. In the matching process, by tracking region containing the feature point through the Mean shift vector required for matching is obtained. Obtained vector is used to match the extracted feature points. In order to remove the outlier, the RANdom Sample Consensus(RANSAC) method is used. By obtaining a homography transformation matrix of the two input images, a single panoramic image is generated. Through experimental results, we show that the proposed algorithm improve of speed panoramic image generation compared to than the existing method.

모바일 기기에서 연속적으로 입력되는 영상을 파노라마 합성을 하여 사용자에게 실시간으로 결과를 보여주는 기존의 실시간 파노라마 기법은 트래킹을 기반으로 하고 이미 채워진 영역은 재투영 하지 않기 때문에, 정렬 오류가 누적되고 누적된 정렬 오류가 결과 영상에 그대로 반영되는 문제가 있다. 이를 해결하기 위하여 본 논문에서는 실시간으로 합성된 파노라마 결과에서 정렬 오류가 존재하는 부분과 장면에서 움직이는 물체가 투영된 부분을 판별하고 이 부분만을 다시 투영하는 방법을 제안한다. 정렬 오류가 발생한 부분을 판별하기 위하여, 시간차가 존재하는 여러 장의 영상을 정렬한 후 같은 위치의 픽셀에 속하는 컬러 값을 큐에 저장한다. 정렬 오류가 발생하거나, 움직이는 물체가 존재하는 경우 큐에 저장된 컬러 값의 차이가 커지게 되고 이러한 부분은 다시 투영하여 파노라마 결과 영상에서 오류를 보정하게 된다. 또한 정렬 오류를 최대한 보정하기 위하여 두 단계로 이루어진 블렌딩 방법을 제안한다. 제안하는 방법은 실시간으로 동작하연서 정렬 오류가 발생한 부분을 효과적으로 판별하여 기존의 방법에 비하여 정렬 오류가 줄어듦을 확인하였다.

In this paper, a new method is proposed for the five-degree-of-freedom precision alignment and stitching of three-dimensional surface-profile data sets. The control parameters for correcting thealignment error are calculated from the surface profile data for overlapped areas among the adjacent measuring areas by using the "least squares method" and "maximum lag position of cross correlation function." To ensure the alignment and stitching reliability, the relationships betweenthe alignment uncertainty, overlapped area, and signal-to-noise level of the measured profile data are investigated. Based on the results of this uncertainty analysis, an appropriate size is proposed for the overlapped area according to the specimen's surface texture and noise level.

본 논문은 임베디드 환경에서 실시간으로 동작하기 위해 이미지에 ROI를 지정하고 PROSAC 알고리즘을 적용하여 구현한 파노라마 영상 정합을 제안한다. 기존의 방식은 SURF 알고리즘이나 SIFT 알고리즘과 같이 복잡한 연산과 많은 연산 데이터의 알고리즘을 화면 전체에 적용하여 탐색한다. 또한 outlier 제거 알고리즘으로 RANSAC을 적용하여 알고리즘이 가진 무작위성으로 추가적인 검증 시간을 필요로 한다. 본 논문은 파노라마 영상의 특성을 고려하여 ROI를 설정함으로써 불필요한 연산량을 줄이고 outlier 제거 알고리즘을 검증 시간을 줄인 PROSAC 알고리즘으로 채택하여 처리 속도를 개선하였다. 비교 실험은 ARM Cortex-A15가 내장된 ODROID-XU 환경에서 진행 하였다. 제안하는 방식은 기존의 방식보다 처리 시간이 약 54% 개선되었다.

This paper proposes a panoramic image stitching that operates in real time at the embedded environment by applying ROI and PROSAC algorithm. The conventional panoramic image stitching applies SURF or SIFT algorithm which contains complicated operations and a lots of data, at the overall image to detect feature points. Also it applies RANSAC algorithm to remove outliers, so that an additional verification time is required due to its randomness. In this paper, unnecessary data are eliminated by setting ROI based on the characteristics of panorama images, and PROSAC algorithm is applied for removing outliers to reduce verification time. The proposed method was implemented on the ORDROID-XU board with ARM Cortex-A15. The result shows an improvement of about 54% in the processing time compared to the conventional method.

스티칭 기술은 고화질의 360 VR 영상을 제작하는 과정에서 가장 중요한 요소 기술들 중의 하나이다. 스티칭 기술의 성능을 저하시키는 원인들에는 특징점 추출 과정의 오류, seam finding 과정에서 사용되는 마스크의 왜곡으로 발생하는 오류, 각 영상들의 밝기 보상 오류 등 다양한 원인들이 존재한다. 본 논문에서는 합성되는 각 영상들 간의 시차(View Disparity)가 존재함으로써 스티칭 성능이 저하되는 현상을 분석하고, 이 문제를 해결하기 위해 이음부 탐색(seam finding)의 전처리 과정에서 사용되는 효율적인 알고리즘을 제안한다. 본 논문에서 제안하는 기술을 통해 기존 방법보다 개선된 마스크들을 제작하여 효율적인 이음부 탐색(seam finding)이 수행되도록 하고, 그 결과 개선된 화질을 갖는 360 VR 영상을 얻을 수 있음을 설명한다. 본 논문에서 실시된 다양한 실험들을 통해, 제안된 기술이 시차 왜곡이 존재하는 영상 신호들을 합성하는 과정에 효율적이면서 동작 복잡도도 높지 않음을 보이고 있다.

VR (Virtual Reality) is one of the important research topics in the field of multimedia application system. The quality of the visual data composed from multiple pictures depends on the performance of stitching technique. The stitching module consists of feature extraction, mapping of those, warping, seam finding, and blending. In this paper, we proposed a preprocessing scheme to provide the efficient mask for seam finder. Incorporating of the proposed mask removes the distortion, such as ghost and blurring, in the stitched image. The simulation results show that the proposed algorithm outperforms other conventional techniques in the respect of the subjective quality and the computational complexity.

기존의 실시간 파노라마 합성 알고리즘에서는 매칭점과 입력 영상에서의 outlier를 구분하고 제거하기가 어렵기 때문에 노이즈가 많은 영상 또는 반복적인 패턴이 많은 영상에서 왜곡이 쉽게 발생하는 문제가 있다. 따라서 본 논문에서는 기존의 실시간 파노라마 합성 프레임웍에서 실시간 합성 조건을 만족시키면서 효과적으로 매칭점과 입력 영상에서의 outlier를 제거하는 방법을 제안한다. 이를 위해서 선형 모델에서 outlier을 제거하는 데 주로 사용되는 RANSAC 알고리즘을 실시간 파노라마 합성에서 사용되는 비선형 모델에 적용 가능하도록 수정하고 속도 향상을 위해서 사용되는 모델의 파라미터를 줄이는 방법을 제안한다. 이를 통하여 매칭점 중에 존재하는 outiler를 제거하고 전체 매칭점 중에서 inlier 비율을 이용하여 입력되는 영상시퀀스에서 outlier 영상을 제거하는 방법을 제안한다. 실험 결과 기존의 방법에 비해서 합성 결과의 왜곡이 줄어드는 것을 확인하였다.

최근 가상현실 기반의 콘텐츠들이 늘어나면서 이미지 Stitching 기술의 사용이 증가하고 있다. 이미지 Stitching이란 고해상도 이미지 및 넓은 시야(Wide Field of View)의 이미지를 생성하기 위해 다중의 영상을 정합하는 방법이다. 이런 이미지 Stitching은 하나의 카메라로부터 생성되는 영상의 한계를 넘어 다양한 분야에서 활용되고 있다. 이미지 Stitching은 다중의 영상을 정합하기 위해 특징 점 및 대응점을 검출하고 RANSAC 알고리즘을 이용하여 영상간의 변환관계(Homography)를 계산한다. 일반적으로 변환관계 계산을 위해 대응점들이 필요하다. 그러나 대응점들에는 변환관계에 대한 잘못된 가정이나 오류로 인해 발생할 수 있는 다양한 유형의 노이즈(Noise)가 포함되어 있다. 이러한 노이즈는 변환관계를 정확히 예측하는 방해 요인이 된다. 이처럼 일반적으로 사용되는 대응점 매칭(Matching) 방법들은 잘못된 대응점들을 매칭할 수 있는 경우가 발생하기 때문에 모델 파라미터의 예측을 방해하는 대응점(Outlier)로부터 정확한 변환관계를 구축하기 위해 RANSAC 알고리즘을 사용한다. 본 논문에서는 RANSAC 알고리즘에 사용되는 대응점 관계 정보를 이용하여 좀 더 정확한 대응점(Inlier)을 추출하고 정확한 변환관계를 계산하는 알고리즘을 제안한다. 대응점 관계 정보는 이미지 매칭에 사용되는 대응점 간의 거리 비율을 사용하며, 본 논문은 기존 RANSAC 알고리즘과 같은 성능을 유지하면서 처리 시간을 단축시키는데 있다.

Recently, the use of image stitching technology has been increasing as the number of contents based on virtual reality increases. Image Stitching is a method for matching multiple images to produce a high resolution image and a wide field of view image. The image stitching is used in various fields beyond the limitation of images generated from one camera. Image Stitching detects feature points and corresponding points to match multiple images, and calculates the homography among images using the RANSAC algorithm. Generally, corresponding points are needed for calculating conversion relation. However, the corresponding points include various types of noise that can be caused by false assumptions or errors about the conversion relationship. This noise is an obstacle to accurately predict the conversion relation. Therefore, RANSAC algorithm is used to construct an accurate conversion relationship from the outliers that interfere with the prediction of the model parameters because matching methods can usually occur incorrect correspondence points. In this paper, we propose an algorithm that extracts more accurate inliers and computes accurate transformation relations by using correspondence point relation information used in RANSAC algorithm. The correspondence point relation information uses distance ratio between corresponding points used in image matching. This paper aims to reduce the processing time while maintaining the same performance as RANSAC.