Earticle

카메라 어레이와 사진측량(photogrammetry)을 이용한 3차원 스캐닝 기술은 인체 전신을 게임이나 시각효과 (VFX), 가상인간 등의 다양한 컴퓨터 그래픽스 응용 분야에 활용되고 있다. 특히 최근에는 메타버스 분야에 대한 구축이 활발해 지고 있는 추세여서 실제 인물에 대한 전신 스캔을 보다 저렴하게 수행할 수 있는 시 스템에 대한 요구가 증가하고 있다. 본 연구에서는 고가의 DSLR 카메라를 이용한 시스템보다 1/10정도의 가격으로 구축할 수 있는 시스템을 제작하는 사례를 제시하고자 한다. 인체 전신에 대해 동시촬영의 오차가 적은 시스템을 구축하는데 중점을 두었다. 최근의 컴퓨터 그래픽스 기술은 보다 사실적인 캐릭터를 보다 효 율적으로 생성하고 사용할 수 있는 방법으로 발전하고 있다. 따라서 본 시스템은 최근 다양한 연구와 개발 이 이루어지고 있는 메타버스의 캐릭터 구축이나 게임의 캐릭터의 모델링에 활용할 수 있는 장비로 활용될 수 있을 것으로 기대하며, 이러한 시스템을 좀 더 저비용으로 구축하고자 하는 연구자들이나 개발자들에게 도움이 될 수 있을 것으로 본다. 또한 최신의 실시간 렌더링 시스템의 추세와 삼각측량 관련 연구와 기술의 발전에도 기여할 수 있을 것으로 보인다.

3D scanning technology using a camera array and photogrammetry is being used in various computer graphics applications such as games, visual effects (VFX), and virtual humans. In particular, recently, as the construction of the metaverse field is becoming more active, the demand for a system that can perform full-body scans of real people at a lower cost is increasing. In this study, we would like to present a case of manufacturing a system that can be built at a price that is 1/10 of that of a system using an expensive DSLR camera. We focused on building a system with less error in simultaneous imaging of the human body. Recent computer graphics technology is developing as a way to create and use more realistic characters more efficiently. Therefore, it is expected that this system can be used as equipment that can be used for character building in the metaverse, where various studies and developments are taking place, or for character modeling in games. I think it can be helpful for developers. It is also expected to contribute to the trend of the latest real-time rendering systems and the development of photogrammetry-related research and technologies.

본 연구는 6 Dof(Degrees of freedom) 지원 가상현실 재현을 위한 3차원 기하정보 기반 Mesh Data 변 환 및 CG/실사 기반 영상 합성 기술을 통해 공간콘텐츠를 효과적으로 제작할 수 있는 새로운 방안을 제안한다. 기존 가상현실 콘텐츠는 CG기반 콘텐츠 제작 기술이 주로 활용되었으나 사실적인 실감콘텐츠 구현을 위해서는 실사 기반 3차원 공간 구성이 필수적이다. 본 논문에서는 2D Arrary 영상을 기반으로 전경 및 배경 영상을 3차 원 공간콘텐츠로 구성하여 실사 기반 실감형 가상현실 콘텐츠를 제작하였다. 실측 공간과 가상현실 공간 정합도를 계산하여 3차원 공간 구성의 정확도를 측정하였다. 향후 LF(Light Field) 영상 및 디지털 트윈 기술을 적용하여 실감형 가상현실 콘텐츠를 제작하는데 활용 수 있다.

This study proposes a new method to effectively create spatial contents through 3D geometry based mesh data transformation and CG / real image based synthesis technology for 6 Dof (Degrees of freedom) support. Conventional virtual reality contents are mainly used for CG-based content production technology, but due to the real-based 3D space construction is essential for realizing realistic contents. Based on the 2D Arrary image, the foreground and background images were composed of 3D spatial contents to produce photo realistic virtual reality contents. The accuracy of three-dimensional spatial composition was measured by calculating the degree of matching between the measured space and the virtual reality space. In the future, it can be used to produce realistic virtual reality contents by applying LF image and digital twin technology.

In this paper, we propose a rectification method that can convert ray space data obtained by controlled camera array to ideal data. Here, Ideal data is obtained by getting longitudinal and transversal epipolar line between cameras vertical and horizontal. However it is actually difficult to arrange cameras strictly because we arrange cameras by hand. As conventional method, we have use camera-calibration method. But if we use this method there are some errors on the output image. When we generate arbitrary viewpoint images this error is critical problem. We focus attention on ideal trajectory of characteristic point. And to minimize the error directly we parallelize the real one. And we showed usefulness of proposed technique. Then using the proposed technique, we were successful reducing the error to less than 0.5 pixels.

We developed a compact gamma camera based on a modified uniformly redundant array coded aperture to investigate the position of a $UO_2$ pellet emitting characteristic X-rays (98.4 keV) and ${\gamma}-rays$ (185.7 keV). Experiments using an only-mask method and an antimask subtractive method were conducted, and the maximum-likelihood expectation maximization algorithm was used for image reconstruction. The images obtained via the antimask subtractive method were compared with those obtained using the only-mask method with regard to the signal-to-noise ratio. The reconstructed images of the antimask subtractive method were superior. The reconstructed images of the characteristic X-rays and the ${\gamma}-rays$ were combined with the obtained image using the optical camera. The combined images showed the precise position of the $UO_2$ pellet. According to the self-absorption ratios of the nuclear material and the minimum number of effective events for image reconstruction, we estimated the minimum detection time depending on the amount of nuclear material.

Despite the significant progress in camera pose estimation and structure-from-motion reconstruction from unstructured images, methods that exploit a priori information on camera arrangements have been overlooked. Conventional state-of-the-art methods do not exploit the geometric structure to recover accurate camera poses from a set of patch images in an array for mosaic-based imaging that creates a wide field-of-view image by sewing together a collection of regular images. We propose a camera pose estimation framework that exploits the array-structured image settings in each incremental reconstruction step. It consists of the two-way registration, the 3D point outlier elimination and the bundle adjustment with a constraint term for consistent rotation vectors to reduce reprojection errors during optimization. We demonstrate that by using individual images' connected structures at different camera pose estimation steps, we can estimate camera poses more accurately from all structured mosaic-based image sets, including omnidirectional scenes.

We propose an improved stereovision scheme using a composite lens array and single camera. The use of a composite lens array makes it possible to construct a compact stereovision system and to improve the quality of the results by adopting image processing method. The principle of the proposed system is explained and the simulation and the experimental results are also presented.

방사선 반응에서의 위치정보는 방사선 선원의 영상을 재구성하는데 있어서 매우 중요한 기본정보이다. 이에 대부분의 위치 검출 기술을 이용하여 검출기안에서의 일어난 단일 반응의 위치정보를 알아낼 수 있다. 그러나 섬광체 안에서의 다중산란의 경우 각각의 산란위치를 개별적으로 측정할 수 없고 여러 산란위치의 평균만이 구해질 수 있어서 측정된 방사능의 위치정보에 불확실성이 존재하게 된다. 이 논문에서는 이러한 다중산란에 따른 위치 불확실성을 몬테카를로 시뮬레이션으로 계산하였다. 시뮬레이션 모델은 복합 집속 카메라에 사용된 $50{\times}50{\times}5mm\;LaCl_3$(Ce) 섬광체(pixel크기는 $2{\times}2{\times}5mm$)이다. 복합 집속 카메라는 광전효과와 컴프턴 산란 모두에서 정보를 얻으므로 방사선의 반응에서 부분에너지만 (검출기에) 검출되는 경우와 모든 에너지가 검출 되는 경우를 나누어 위치 불확실성을 계산하였다. 부분에너지만 검출되는 경우 (PED) 위치의 표준편차는 $1{\sim}2mm$ 미만으로 다중산란에 의한 불확실성이 크지 않다는 것을 알 수 있다. PED의 경우 다중산란의 영향이 크지 않으므로 이러한 다중산란은 컴프턴 카메라의 성능에 큰 영향을 미치지 않는다는 것을 알 수 있다. 그러나 모든 에너지가 검출되는 경우 (FED), 122keV입사방사선의 경우를 제외하면, 그 위치의 표준편차가 1차 검출기의 pixel크기에 2배에 달한다. 그러므로 복합 집속 카메라의 코드화된 마스크를 설계하는데 있어 재구성된 영상의 잡음을 방지하기 위해 다중산란에 의한 표준편차가 고려되어야 한다. 모든 입사 방사선에너지에 대하여 FED에 의한 위치 불확실성은 PED에 의한 것 보다 크며 PED 대 FED의 비는 입사방사선의 에너지가 증가함에 따라서 커진다. PED와 FED의 경우 모두 위치의 불확실성이 입사방사선의 에너지에 따라 달라졌다.

Position information of radiation interactions in detection material is essential to reconstruct a radiation source image. With most position sensing techniques, the position information of a single interaction inside the detectors can be precisely obtained. Each interaction position of multi-scattering inside scintillators, however, can not be individually measured and only the average of the scattering positions can be obtained, which causes the uncertainty in the measured interaction position. In this paper, the position uncertainties due to the multi-scattering were calculated by Monte Carlo simulation. The simulation model was a 50 by 50 by 5 mm $LaCl_3$(Ce) scintillator(pixel size is 2 by 2 by 5mm) which was utilized for the dual collimation camera. The dual collimation camera uses the information from both photoelectric effect and Compton scattering, and therefore, position uncertainties for both partial and full energy deposition of radiation interactions are calculated. In the case of partial energy deposition(PED), the standard deviations of positions are less than $1{\sim}2mm$, which means the uncertainty caused by multi-scattering is not significant. Because the effect of the multi-scattering with PED is insignificant, the multi-scattering has little effect on the performance of Compton imaging of dual collimation camera. In the case of full energy deposition(FED), however, the standard deviation of the positions is about twice that of the pixel size of the 1stdetector, except for 122keV incident radiations. Therefore, the standard deviations caused by multi-scatterings should be considered in the design of the coded mask of the dual collimation camera to avoid artifact on the reconstructed image. The position uncertainties of the FEDs are much larger than those of the PEDs for all radiation energies and the ratio of PEDs to FEDs increases when the incident radiation energy increases. The position uncertainties of both PEDs and FEDs are dependent on the incident radiation energy.

This paper details the development and extensive silicon-level verification of a 128 × 128 Readout Integrated Circuit (ROIC) tailored for uncooled Short-Wave Infrared (SWIR) imaging cameras, which operate at a 2.6 μm wavelength. We conducted silicon-level verification of the developed ROIC, enabling a detailed analysis of various performance aspects. This evaluation will help us identify potential explore for further improvements, significantly advancing SWIR imaging camera systems. Our goal is to gain a deeper understanding of performance dynamics to enhance operational efficiency and image quality. The prototype ROIC was manufactured using a 0.18-μm 1P6M CMOS process, featuring an effective pixel resolution of 128 (H) × 128 (V), specifically designed for InGaAs FPAs. The prototype consumes 42.25 mW of power and achieves a frame rate of 390 frames per second. The fabricated chip show that the Noise level is 72.65 μVrms and Pixel-FPN is 21 LSBrms.

본 논문에서는 웹캠 카메라 어레이(camera array)로 얻은 여러 장의 이미지를 빠른 속도로 봉합(stitching)하여 고해상도 이미지를 얻기 위해 그래픽스 하드웨어를 이용하는 병렬 알고리즘을 제시한다. 고정된 레이아웃의 카메라 어레이를 이용하여 평면 혹은 원경을 촬영하는 경우, 기존에 널리 쓰이던 평면 사영 이미지 봉합(planar projective image stitching)과 선형 혼합(linear blending)을 통해 만족스런 결과를 얻을 수 있다. 본 논문에서는 이러한 연산을 그래픽스 하드웨어에서 병렬처리 함으로써 추후 실시간 고해상도 동영상 스트리밍 이미지 병합에 활용할 수 있을 정도로 빠른 속도로 처리하는 방법을 제시한다.

본 논문에서는 수렴형 양안식 카메라 배열에서 효율적으로 깊이 지도를 생성하는 방법을 제안한다. 기존의 양안식 영상에서의 깊이 지도 추출 방법은 영상 정렬화 과정이 필수적이었다. 이는 평행형 배열에서는 효과가 있지만, 수렴형 배열에서는 영상을 왜곡시키는 문제를 발생시킨다. 본 논문에서 제안하는 방법은 영상 정렬화 과정을 생략하고, 에피폴라 조건에 따라서 직접적으로 깊이 값을 추출한다. 깊이 예측을 위한 Markov Random Field 에너지는 계층적 구조를 사용하여 복잡도를 낮춘 상수 공간 신뢰 확산 방식에 의해서 최적화한다. 이어서 좀 더 정확한 깊이 지도를 구하기 위해서 후처리 기술을 최종적으로 적용한다. 실험을 통해 본 논문에서 제안한 방법이 기존의 방법에 비해서 적은 제약으로 깊이 지도를 좀 더 안정적으로 추출할 수 있음을 보였다.

중적외선 카메라의 초점면배열 검출기는 검출기 화소마다 응답 특성이 달라 검출기 화소 간 불균일이 발생한다. 또한 카메라 운용 중 카메라 내부 발열 등의 영향으로도 영상에 불균일이 발생한다. 이 문제를 해결하기 위해 카메라 제작 단계에서 흑체를 이용해 검출기 화소 간 차이 교정용으로 이득과 오프셋 테이블을 생성해 보정하는 것이 일반적이다. 장비 운용 중 내부 발열 등에 의한 불균일을 보정하는 방법은 입력 영상을 기반으로 한 새로운 오프셋 값을 생성하는 방법을 사용한다. 본 논문에서는 장비 운용 중 발생하는 영상 불균일 보정을 위한 방법으로 입력되는 영상을 블록 형태의 패치로 분할한 후 균질한 영상 패치만 불균일 보정 테이블 생성에 사용하는 기법을 제안하였다. 제안된 기법은 불균일 보정 테이블 생성을 위해 획득하는 영상의 카메라 시선 움직임으로 인해 발생하는 움직임 자국 형태의 인공 패턴 노이즈 발생을 방지할 뿐만 아니라, 적은 수의 영상으로도 불균일 보정 성능 향상을 꾀할 수 있다. 실험 결과 기존 전통적인 영상 기반 불균일 보정 방법에서 발생하는 영상 흐름 자국 형태의 왜곡이 발생하지 않았으며 기존 방법 대비 50% 이상 적은 수의 영상으로도 양호한 보정 성능을 확인할 수 있었다.

The detector of a focal-plane-array mid-wave infrared (MWIR) camera has different response characteristics for each detector pixel, resulting in nonuniformity between detector pixels. In addition, image nonuniformity occurs due to heat generation inside the camera during operation. To solve this problem, in the process of camera manufacturing it is common to use a gain-and-offset table generated from a blackbody to correct the difference between detector pixels. One method of correcting nonuniformity due to internal heat generation during the operation of the camera generates a new offset value based on input frame images. This paper proposes a technique for dividing an input image into block image patches and generating offset values using only homogeneous patches, to correct the nonuniformity that occurs during camera operation. The proposed technique may not only generate a nonuniformity-correction offset that can prevent motion marks due to camera-gaze movement of the acquired image, but may also improve nonuniformity-correction performance with a small number of input images. Experimental results show that distortion such as flow marks does not occur, and good correction performance can be confirmed even with half the number of input images or fewer, compared to the traditional method.

In commercial digital-cameras, color-filter filters light according to wavelength range of color filter array (CFA) and the filtered intensities contain color information of light. Then, output data of CFA is transformed to final rendered image through demosaicing process. In image processing of digital-camera, the quality of the final rendered image is affected by optical cross talk of CFA, kind of CFA pattern etc. Basically, pattern of CFA plays important role in image quality of final image rendered by digital-camera. Therefore, an evaluation system capable of quantitatively evaluating CFA is needed. This paper proposes a novel evaluation system using existing and proposed image metrics for evaluating CFAs of digital-camera. Proposed CFA evaluation system consist of color difference in CIELAB and S-CIELAB, Structure SImilarity (SSIM), MTF50, moire starting point (MSP), and subjective preference (SP). MSP and SP are newly designed for the proposed evaluation system. Proposed evaluation system is expressed in polar coordinates to analyze the characteristics of CFA objectively and intuitively. Through simulations, we confirmed that proposed CFA evaluation system can objectively assess performance of developed CFAs.

이 연구의 목적은 몬테칼로 모사방법을 이용하여 배열형 CsI 섬광결정을 가진 소형 감마카메라의 평행구멍형 조준기를 최적화하고 조준기 부착시 발생할 수 있는 결합오차가 영상의 질에 미치는 영향을 평가하는 것이다. GATE 코드를 이용하여 육각형과 사각형 평행구멍형 조준기의 구멍크기에 따른 Tc-99m 점선원 영상의 민감도 및 공간분해능을 측정하고 최적화된 조준기를 바탕으로 조준기와 섬광체 사이에 2 mm 이내의 미세한 틈이 있을 경우에 대한 평판선원의 영상 균일도를 측정하였다. 동일 구멍크기에 대해 사각구멍형 조준기가 육각구멍형 조준기에 비해 민감도가 우수한 결과를 보였으며, 섬광결정과 사각구멍조준기의 크기를 1 대 4로 일치시켰을 때, 선원의 거리에 따른 공간분해능의 변화가 가장 적은 것을 알 수 있었다. 조준기와 검출기의 결합면 평행오차는 영상의 균일도와 민감도 모두를 선형적으로 감소시키는 경향을 보였다. 이 연구 결과는 배열형 섬광결정과 단일 섬광결정에 대해 조준기의 성능차이를 보이고, 영상의 균일도 및 민감도 저하의 원인이 조준기의 결합오차에서 기인할 수 있음을 증명함으로써, 핵의학 영상 화질 개선을 위한 새로운 접근법을 제시한다.

The purpose of this study is to optimize a parallel-hole collimator for small gamma camera having the pixellated crystal array and evaluate the effect of crystal-collimator misalignment on the image quality using a simulation tool GATE (Geant4 Application for Tomographic Emission). The spatial resolution and sensitivity were measured for the various size of hexagonal-hole and matched square-hole collimators with a Tc-99m point source and the uniformity of flood image was estimated as a function of the angle between crystal array and collimator by misalignment. The results showed that the spatial resolution and sensitivity were greatly improved by using the matched collimator and the uniformity was reduced by crystal-collimator misalignment.