Earticle

본 논문은 단일영상의 실안개 정보와 상대적 높이 단서를 기반으로 깊이 지도를 생성하고, 이를 이용하여 2D/3D 변환을 하는 기법에 관한 연구이다. 기존의 실안개 정보만을 깊이 지도로써 이용하는 경우, 안개가 없는 영상에서 오류가 발생할 수 있다. 본 논문에서는 이러한 오류를 줄이기 위해, 상대적 높이 단서 기반의 깊이 지도를 생성하고, 실안개 정보와 결합하는 방법을 제안하였다. 또한 Mean Shift Segmentation을 이용한 gray scale 영상과 실안개 정보의 깊이 지도를 결합하여 객체의 경계를 선명화함으로써 3D 영상의 품질을 향상시킬 수 있도록 하였다. 입력영상과 최종 깊이 지도를 DIBR(Depth Image Based Rendering)을 통해 좌영상과 우영상의 시점영상을 생성하고, 적청영상의 형태로 결합함으로써 3D 영상을 생성하였고, 깊이 지도간의 PSNR을 측정하여 검증하였다.

This paper presents the 2D/3D conversion technique using depth map which is generated based on the haze and relative height cue. In cases that only the conventional haze information is used, errors in image without haze could be generated. To reduce this kind of errors, a new approach is proposed combining the haze information with depth map which is constructed based on the relative height cue. Also the gray scale image from Mean Shift Segmentation is combined with depth map of haze information to sharpen the object’s contour lines, upgrading the quality of 3D image. Left and right view images are generated by DIBR(Depth Image Based Rendering) using input image and final depth map. The left and right images are used to generate red-cyan 3D image and the result is verified by measuring PSNR between the depth maps.

VR 콘텐츠에서 사용자의 몰입을 유도하기 위해서 사용하는 방법들 중 하나로는 컨트롤러에서 벗어난 입력 방식이 있다. 많은 콘텐츠에서 컨트롤러를 대체하기 위한 수단으로 핸드 트래킹 기술을 이용하여 손동작을 사용자 인터페이스로 사용하고 있다. 그러나 컨트롤러나 키보드와 같은 기계와 달리 사람의 손모양은 같은 모양이어도 사람마다 편안하게 느끼는 손 모양의 각 도가 다르기 때문에 개인차가 발생할 수 있다. 이는 핸드 트래킹의 인식률 저하를 야기하여 사 용자가 손모양을 이용한 사용자 인터페이스에 익숙해지는 것을 방해하는 요소가 될 수 있다. 이에 본 연구에서는 손가락 각도와 같은 손모양에 대한 사용자의 개인차가 VR 컨텐츠의 사용 자 경험에 미치는 영향에 관해 연구했고, 이를 설명하였다.

One of the methods used to enhance user immersion in VR content is input methods that move beyond traditional controllers. Many VR applications are utilizing hand tracking technology to replace controllers by using hand gestures as a user interface. However, unlike mechanical devices like controllers or keyboards, the angles at which people feel comfortable with a hand gesture may differ from person to person, even for the same gesture. This individual variation can lead to a decrease in hand tracking accuracy, potentially hindering users from becoming accustomed to hand gesture-based user interfaces. Therefore, this study investigates the impact of individual differences in hand gestures, such as finger angles, on the user experience in VR content and provides an explanation for these effects.

Action recognition technology has many application fields including gaming, human-computer interaction, security, virtual reality, etc. The technology has recently advanced and simplified by the introduction of real time depth cameras. The most famous depth camera, Kinect, has shown its success in human action recognitions by supervised learning methods. However, those method require a large number of motion capture data as the ground truth of each skeleton points. This paper proposes a human skeleton extraction method without using reference data. The method extracts the minimum number of articulation points instead of full skeleton data. The articulation points are used as an real-time interface for 3D interaction games.

Depth-image-based rendering is generally used in real-time 2D-to-3D conversion for 3DTV. However, inaccurate depth maps cause flickering issues between image frames in a video sequence, resulting in eye fatigue while viewing 3DTV. To resolve this flickering issue, we propose a new 2D-to-3D conversion scheme based on fast and robust depth-map generation from a 2D video sequence. The proposed depth-map generation algorithm divides an input video sequence into several cuts using a color histogram. The initial depth of each cut is assigned based on a hypothesized depth-gradient model. The initial depth map of the current frame is refined using color and motion information. Thereafter, the depth map of the next frame is updated using the difference image to reduce depth flickering. The experimental results confirm that the proposed scheme performs real-time 2D-to-3D conversions effectively and reduces human eye fatigue.

In this paper, we propose a novel algorithm for rendering motion-blurred shadows utilizing a depth-time ranges shadow map. First, we render a scene from a light source to generate a shadow map. For each pixel in the shadow map, we store a list of depth-time ranges. Each range has two points defining a period where a particular geometry was visible to the light source and two distances from the light. Next, we render the scene from the camera to perform shadow tests. With the depths and times of each range, we can easily sample the shadow map at a particular receiver and time. Our algorithm runs entirely on GPUs and solves various problems encountered by previous approaches.

2D 퍼즐은 인기있는 보드게임이다. 2D 퍼즐을 완성하는 기술은 많이 연구되었다. 하지만 2D만으로는 대상 을 효과적으로 표현하기 어렵다는 한계가 있다. 본 연구에서는 영상으로부터 높이를 가진 2D+ 레고 퍼즐을 생성하는 방법을 제안한다. 이를 위해서 본 연구에서는 영상의 높이 맵과 분할 맵의 정보를 활용한다. 우리 는 2D+ 퍼즐에 적용하기위해 다양한 대상의 높이 및 영역 정보를 적절하게 처리해야한다. 이러한 이유로, 우리는 깊이 맵과 분할영역 맵을 추출하기 위해 모델에 심층 학습 모델을 적용한다. 높이 맵을 추출하기 위 해 우리는 CelebAMask-HQ dataset으로 학습한 BiseNet을 채택했다. 그리고 분할 맵을 얻기 위해 NYU Depth V2 dataset으로 학습한 DenseDepth를 사용했다. 입력 영상에 대해서 저해상도 영상 및 높이 맵과 분할 맵을 추출하고, 저해상도 영상을 레고 브릭의 색 팔레트를 적용한 영상에 대해서 높이 맵과 분할 맵 정보를 적용해서 높이를 가진 2D+ 픽셀 아트 영상을 생성한다. 그리고, 이 픽셀 아트 영상에 대해서 같은 높이와 같은 색을 가진 픽셀들에 대해서 최대한 큰 브릭을 적용하는 그리디 알고리즘을 적용해서 2D+ 레 고 퍼즐을 완성한다. 본 연구에서는 다양한 초상화를 대상으로 2D+ 레고 퍼즐을 완성하는 예를 제시하였으 며, 그 중 하나를 직접 제작하여 그 결과를 제시한다.

2D puzzles are popular board games. The technique of completing a 2D puzzle has been studied a lot. However, there is a limitation in that it is difficult to effectively express objects only with 2D. We present a 2D+ Lego puzzle generation algorithm that converts an input image into a 2D Lego puzzle with several bricks that represent heights. We employ a depth map estimation scheme and a semantic segmentation scheme for our purpose. We need to properly process the depth and segmentation information of various objects to apply to the 2D+ puzzle. For this reason, we apply deep learning models to the model to extract a depth map and a segmentation map. To extract the segmentation map, we adopted BiseNet learned with CelebAMask-HQ dataset. And DenseDepth learned with NYU Depth V2 dataset was used to obtain the depth map. We downsample the input image to a low-resolutional image and arrange the color information of the image according to the color palette of the allowable Lego bricks. We build a 2D+ pixel art image by corporating the low-resolutional images with the depth map and segmentation map. 2D+ lego puzzle is constructed from this 2D+ pixel art image by applying a greedy algorithm that seeks a largest Lego brick that can fit the candidate space.

게임에서 배경은 단지 공간적 구성 요소뿐만 아니라 사용자에게 게임 속에서 몰입감을 높여주는 요소이다. 때문에 실제 도심을 모델로 한 배경의 일부 게임들이 인기를 끌고 있다. 도심을 배경으로 하는 게임의 배경은 만드는데 많은 인력과 시간을 필요로 하기 때문에 제작하기 힘들다. 한편 스트리트 뷰와 같은 서비스와 간단한 룰을 이용해서 가상의 체험을 제공해주는 게임들도 존재한다. 스트리트 뷰를 기반으로 배경에서 중요 요소인 건물을 살려 사용자의 몰입감을 높이고 실제에 기반한 맵을 만들 수 있다면 매우 유용할 것이다. 일반적으로 게임에서 깊이 맵은 빛과 그림자 셰이딩 또는 높이 맵으로 지형을 구성하는데 활용된다. 우리는 이 깊이 맵을 스트리트 뷰에 적용하고자 한다. 우리는 이 연구에서 수치지도를 이용해 간단하고 저비용의 깊이 추정 알고리즘을 실험하고자 한다. 건물에 대한 위치 및 메타데이터는 수치지도로 부터 획득하여 깊이 추정을 진행하였다. 스트리트 뷰에 깊이 정보를 더하여 배경 요소에 중요한 건물을 강조하고 또한 건물과 지면, 하늘을 분리하였다. 디지털 지도와 메타 데이터를 기반으로 한 스트리트 뷰 연구는 다양한 방법으로 활용 될 수 있다.

In the game, the background is not only a spatial element, but also an element that increases game immersion by giving the story a probability. For this reason, some games with a background modeled on an actual city center are gaining popularity, through games, players can experience places that they cannot visit in real life. It is difficult to create a game set in the city center because it requires a lot of manpower and time to produce background. On the other hand, there are also games that provide virtual experiences to users using services such as Street View and simple rules. It will be very useful if you can create a map based on reality and increase the user's immersion by utilizing the building that is an important element in the background based on Street View. Usually in games, depth maps are used for lighting and shadow generation, or constructing terrain like height maps. We are going to apply a depth map to street view. In this study, we intend to experiment with a simple and low-cost depth estimation algorithm using a digital map. The location and metadata of the building were acquired from the digital map and the depth was estimated. We added depth information to Street View to highlight important buildings as background elements and separate buildings, ground, and sky. Street view studies based on digital maps and metadata can be used in a variety of ways, such as building 3D maps and advertising based on building planes.

DIBR(Depth Image Based Rendering)을 이용한 영상 합성 시에 발생하는 경계 잡음은 원래 전경 영역에 속하던 화소가 배경으로 흩어져 나와 생성된 잡음이며, 이는 주로 참조 영상과 깊이지도 간 경계 불일치나 참조 영상에서의 블러링 때문에 발생된다. 영상 합성 과정에서 발생된 홀 영역은 일반적으로 주위 화소를 이용하여 채워지게 되므로, 홀에 인접한 경계 잡음은 합성 영상의 화질을 저하시키는 주요 원인으로 작용한다. 이 문제를 해결하기 위해 본 논문은 깊이지도의 전처리를 이용한 새로운 경계 잡음 제거 알고리즘을 제안한다. 기존의 전처리 기법들은 경계 불일치에 따른 경계 잡음의 제거를 위해 참조 영상과 깊이지도의 경계가 일치되도록 깊이지도를 수정한다. 그러나 대부분의 기존 기법들이 신호 기울기 기반의 단순 경계 탐색 알고리즘에 기반을 두고 있어 블러링이 존재하는 경계에서는 탐색 성능의 저하가 나타난다. 제안 알고리즘은 이의 해결을 위해 2단계 경계 탐색을 이용함으로써 이행 영역과 배경 영역 간 경계를 보다 효과적으로 탐색할 수 있는 구조를 제안하였다. 실험 결과를 통해 제안 알고리즘이 기존 알고리즘에 비해 우수한 경계 잡음 제거 성능을 가짐을 보인다.

The boundary noise in image syntheses using DIBR consists of noisy pixels that are separated from foreground objects into background region. It is generated mainly by edge misalignment between the reference image and depth map or blurred edge in the reference image. Since hole areas are generally filled with neighboring pixels, boundary noise adjacent to the hole is the main cause of quality degradation in synthesized images. To solve this problem, a new boundary noise removal algorithm using a preprocessing of the depth map is proposed in this paper. The most common way to eliminate boundary noise caused by boundary misalignment is to modify depth map so that the boundary of the depth map can be matched to that of the reference image. Most conventional methods, however, show poor performances of boundary detection especially in blurred edge, because they are based on a simple boundary search algorithm which exploits signal gradient. In the proposed method, a two-step hierarchical approach for boundary detection is adopted which enables effective boundary detection between the transition and background regions. Experimental results show that the proposed method outperforms conventional ones subjectively and objectively.

2D-to-3D 비디오 변환 기술은 2D 비디오 속에 내재하는 깊이 단서를 이용하여 스테레오 영상을 생성함으로써 2D 비디오에 3D 효과를 부여한다. 이 기술은 완전한 3D 비디오 시대로 가는 과도 기간 동안 3D 콘텐츠의 부족문제를 해결할 수 있는 유용한 기술이다. 본 논문은 2D-to-3D 비디오 변환의 저 복잡도 구현을 위한 새로운 깊이 생성 방안을 제시한다. 제안 기법에서는 전역 깊이의 시방향 일관성을 위하여 패턴 기반의 전역 깊이 생성 기법을 제안하였다. 뿐만 아니라 객체 영역의 3D 입체감 개선을 위한 저 복잡도의 객체 깊이 개선 알고리즘도 추가적으로 제시하였다. 실험을 통해 제안 알고리즘이 복잡도와 주관적 화질 측면에서 기존 방식들에 비해 우수한 성능을 나타냄을 보인다.

2D-to-3D video conversion vests 3D effects in a 2D video by generating stereoscopic views using depth cues inherent in the 2D video. This technology would be a good solution to resolve the problem of 3D content shortage during the transition period to the full ripe 3D video era. In this paper, a low-complexity depth generation method for 2D-to-3D video conversion is presented. For temporal consistency in global depth, a pattern-based depth generation method is newly introduced. A low-complexity refinement algorithm for local depth is also provided to improve 3D perception in object regions. Experimental results show that the proposed method outperforms conventional methods in terms of complexity and subjective quality.

This paper proposes a hybrid algorithm by combining Lazy Snapping and Grass-fire Algorithm to make a faster and accurate 2D/3D image conversion. By removing the current noises from Optical Flow and using Lazy Snapping with Grass-fire together, the total progress will extract the object more accurately.

Multi-view system is one of the auto-stereoscopic displays that allows users to watch 3D images without wearing special glasses. Generating contents for the multi-view display system is often accomplished using Depth-image-based rendering (DIBR) intermediate view generation. DIBR-based intermediate view generation method reconstructs a 3D scene with a color image and depth map information. Then, a virtual camera is put in various view positions to capture intermediate view images. In this research, we tried to improve the quality of the DIBR-based intermediate views by applying non-uniform quantization method for depth map information. This paper describes the intermediate view generation process using DIBR. Then, it discusses the evaluation of multi-view intermediate images generated using uniform and non-uniform depth quantization methods. Finally, the paper describes the future direction and how the muti-view systems can be utilized in computer games.

본 논문에서는 2D/3D 동영상 변환을 위해 깊이가 할당될 전경을 초점 정보와 색상분석 기반의 그룹화를 이용하여 추출하고, 전경의 깊이를 초점 정보와 움직임 정보를 이용하여 생성하는 방법을 제안하였다. 2D영상에서 전경을 추출하기 위해 영상의 초점 정보의 움직임을 추정하여 전경 후보 영상을 생성하고, 전경 후보 영상에 존재하는 객체 내부의 홀 영역을 색상 분석을 이용한 채움 과정을 수행하여 전경 영역을 추출하였다. 생성된 전경 영역에 깊이를 할당하기 위해 해당 프레임에 존재하는 초점 값을 분석하여 초기 깊이 정보를 생성하고 움직임 정보를 가중하여 깊이 정보를 할당하였다. 생성된 깊이 정보의 품질을 평가하기 위해 기존에 제안된 알고리즘의 결과 영상과 비교하였다.

In this paper, depth of foreground is analysed by focus and color analysis grouping for 2D/3D video conversion and depth of foreground progressing method is preposed by using focus and motion information. Candidate foreground image is generated by estimated movement of image focus information for extracting foreground from 2D video. Area of foreground is extracted by filling progress using color analysis on hole area of inner object existing candidate foreground image. Depth information is generated by analysing value of focus existing on actual frame for allocating depth at generated foreground area. Depth information is allocated by weighting motion information. Results of previous proposed algorithm is compared with proposed method from this paper for evaluating the quality of generated depth information.

본 논문에서는 기하학적 단서인 소실선과 텍스처를 이용하여 깊이 지도를 생성하는 방법을 제안한다. 소 실선은 영상 내 존재하는 평행한 직선들에 의해 생성되는 것으로 영상에서 Gabor Filter를 통해 특정 각도의 경계를 추출하고 이를 허프 변환을 통해 직선을 추출하여 소실선을 검출해낸다. 검출된 소실선에 따라 초기 깊이 지도를 생성하고 텍스처 단서인 슈퍼 픽셀을 이용한 상대적 깊이 지도를 결합하여 최종 깊이 지도를 생성한다. 소실선을 이용한 초기 깊이지도와 슈퍼 픽셀을 이용한 상대적 깊이 지도를 결합함으로써 보다 신뢰성 있는 깊이 지도가 생성 되었다.

In this paper, we propose method of generation of depth map using vanishing line and texture. vanishing line is generated by parallel lines in image. For generate vanishing line, show boundary of particular angle through Gabor Filter and extract line through Hough Transform. Initial Depth Map is estimated based on vanisihng line and combine Relative Depth map that generated using Texture Cue. The proposed algorithm advanced due to combine Initial Depth Map and Relative Depth Map.

본 논문에서는 단일 프레임 영상에서 초점을 이용하여 초기 깊이정보를 추출한 후 입체 영상을 생성하는 방법을 제안하였다. 단일 프레임 영상에서 깊이를 추정하기 위해 원본 영상과 가우시안 필터를 중첩 적용하여 생성된 영상의 비교를 통해 영상의 초점 값을 추출하고 추출된 값을 기반으로 초기 깊이정보를 생성하도록 하였다. 생성된 초기 깊이정보를 Normalized cut을 이용한 객체 분할 결과에 할당하고 각 객체의 깊이를 객체 내 깊이 정보의 평균값으로 보정하여 동일 객체가 같은 깊이 값을 갖도록 하였다. 객체를 제외한 배경 영역은 객체를 제외한 배경 영역의 에지 정보를 이용하여 깊이를 생성하였다. 생성된 깊이를 DIBR(Depth Image Based Rendering)을 이용하여 입체 영상으로 변환하였고 기존 알고리즘을 통해 생성된 영상과 비교 분석하였다.

In this paper we present creating 3D image from 2D image by extract initial depth values calculated from focal values. The initial depth values are created by using the extracted focal information, which is calculated by the comparison of original image and Gaussian filtered image. This initial depth information is allocated to the object segments obtained from normalized cut technique. Then the depth of the objects are corrected to the average of depth values in the objects so that the single object can have the same depth. The generated depth is used to convert to 3D image using DIBR(Depth Image Based Rendering) and the generated 3D image is compared to the images generated by other techniques.

3-D reconstruction of industrial flame could be used to research for the completeness of combustion and flame temperature field. As the flame flicks and has no regular evident characteristic, 3-D reconstruction of flame is difficult and lack of study. The paper proposed a stereo matching algorithm for flame based on distance ratio constraint (DRCFMA). Taking flame characteristics into account and using the processed SIFT operates to get the ratio constraint of matched feature points, the algorithm is applied on the follow-up 3-D reconstruction of flame. The results shows the validity and feasibility of DRCFMA. Compared with conventional algorithms, the proposed algorithm has a better accuracy and shorter time-taken for industrial flame. The experiments had shown that the follow-up 3-D reconstruction of flame has clear and continuously changing greyscale layers.

The point is a vanishing point and the lines which meet at the point are vanishing lines. Depth-map can be generated to restore a 3D space structure from the 2D images using the vanishing point. The research described in this paper compensates for the disadvantages of depth-map generation techniques that need to restore a 3D spatial structure from a 2D image. In addition, a 3D panorama system is proposed. The 3D panorama system using depth-map generation techniques creates a 3D effect in which users feel that they are standing at the shooting location and looking around. The 3D panorama system provides a free time for nearby objects and distant background in a wide area, and it creates realistic 3D images such as constant high-quality pictures. The 3D panorama system will offer the sense for the real and the immersion as it gets over the limit of 2D panorama technology and supports users with a natural navigation. The 3D panorama image using depth-map is worth noticing since it shows the possibility to use the construction of image based virtual system.

Recent advances in 3D have increased the importance of stereoscopic content creation and processing. Therefore, converting existing 2D contents into 3D contents is very important for growing 3D market. The most difficult task in 2D-to-3D conversion is estimating depth map from a single-view image. Thus, in this paper, we propose a novel algorithm to estimate the map by simulating haze as a global image feature. Besides, the visual artifacts of the synthesized left- and right-views can also be effectively eliminated by recovering the separation and loss of foreground objects in the proposed algorithm. Experimental results show that our algorithm can produce a good 3D stereoscopic effect and prevent the separation and loss artifacts with low computational complexity.

As the extension of High Efficiency Video Coding (HEVC) for 3D video coding, 3D-HEVC achieves high efficiency for the compression of the multi-view videos plus depth (MVD) format. In order to ensure the performance of depth map coding, a new depth intra coding tool called Depth Modeling Mode (DMM) is introduced. However, the process of DMM significantly increases the computational complexity of depth map coding due to the blind traversal of all wedgelet partitions. In this paper, a fast intra prediction algorithm for DMM mode in depth map coding is proposed. In the first step, the unnecessary DMM mode is skipped by judging whether the best prediction mode in Rough Mode Decision (RMD) is DC mode. In the second step, the direction information represented by a permitted angle range is acquired based on the best prediction mode achieved in RMD. In the third step, a searching subset is obtained based on the direction information and the position information represented by the coordinates of the pixel with biggest depth value change in each boundary of PU. Then the patterns within the searching subset are tested by view synthesis optimization (VSO) to find the minimum distortion partition. Compared with the coarse-refinement algorithm, the proposed algorithm shows significant time saving with acceptable performance loss.