Earticle

본 논문에서는 무대에서의 방송용 카메라를 위한 자동 객체추적 시스템을 구현한다. 객체추적을 위해서 Open-CV 기반의 파이썬 프로그램을 탑재한 PC, 라즈베리파이 3, 모바일 장치를 사용한다. 영상 객체추적 방법으로 는 mean-shift, CAMshift, GMM을 이용한 백그라운드 모델링, SURF를 이용한 템플레이트 기반 추적, CMT, TLD 등의 방법들이 있다. CAMshift 알고리즘은 고속 및 성능의 강인함으로 실시간 추적에 효율적이지만, 본 논문에서는 CMT 알고리즘을 이용한 방송용 카메라의 영상 객체추적 시스템을 구현한다. 이것은 정적 및 적응형 일치성 때문에 최적의 영상 추적 방법이다. 제안된 시스템은 무대에서의 실시간 연속적인 객체추적을 위한 효율적이고 강인한 영상 추적 시스템에 잘 응용될 수 있다.

In this paper, we present an automatic image object tracking system for Studio cameras on the stage. For object tracking, we use the OpenCV-based Python program using PC, Raspberry Pi 3 and mobile devices. There are many methods of image object tracking such as mean-shift, CAMshift (Continuously Adaptive Mean shift), background modelling using GMM(Gaussian mixture model), template based detection using SURF(Speeded up robust features), CMT(Consensus-based Matching and Tracking) and TLD methods. CAMshift algorithm is very efficient for real-time tracking because of its fast and robust performance. However, in this paper, we implement an image object tracking system for studio cameras based CMT algorithm. This is an optimal image tracking method because of combination of static and adaptive correspondences. The proposed system can be applied to an effective and robust image tracking system for continuous object tracking on the stage in real time.

LED 비디오월을 방송 현장에서 사용하기 위해서는 몇 가지 알아두어야 할 사항이 있다. 첫째, 픽셀이 촘촘히 배열되어 있기 때문에 짧은 배열 주기로 인한 무아레 현상이 나타날 수 있고, 둘째, 픽셀 간의 거리(픽셀피치)가 촬영 하는 카메라 이미지 센서에 기록될 수 있다. 무아레 현상이 발생하거나 픽셀피치가 관찰되게 되면 시청자의 입장에서 는 불편함을 느끼게 된다. 무아레 현상은 카메라의 촬영거리나 각도를 조정하면서 감소시킬 수 있지만, 픽셀피치가 이미지 센서에 녹화되는 걸 방지하기 위해서는 LED 비디오월과 카메라와의 거리를 충분히 확보하거나, 거리가 확보 된 상태에서도 픽셀피치가 녹화되지 않도록 방송 현장에서 사용되는 줌렌즈의 배율을 적절하게 변화시켜 운용해야 한다. 원하는 화각을 얻기 위해 배율을 변경시켜 초점거리를 변동시키게 되면 의도치 않게 픽셀피치가 녹화되는 결과 를 초래할 수 있다. 본 논문에서는 비디오월과의 거리가 충분히 확보된 상태에서 줌렌즈의 배율을 변경하면서 픽셀피 치가 관찰되지 않는 범위에 대해 알아보았다. LED 비디오월에 영상을 재생시켜 B4 마운트 줌렌즈를 장착한 HD 카 메라와 서버를 사용해 LED 비디오월 상태를 녹화하였고, TV 화면으로 재생하여 픽셀피치가 관찰되는지 확인해 보 았다.

In order to use the LED video wall in the broadcasting studio, there are a few things to be aware of. First, since the pixels are closely arranged, a moire phenomenon may occur due to a short arrangement period, and second, the distance between pixels (pixel pitch) may be recorded on the image sensor of the broadcasting camera. When moire occurs or pixel pitch is observed, viewers feel uncomfortable. Moire effect can be reduced by adjusting the shooting distance or angle of the camera, but in order to prevent the pixel pitch from being recorded on the image sensor, secure a sufficient distance between the LED video wall and camera. even when the distance secured, the zoom lens used in the broadcasting studio must be operated by appropriately changing the magnification. If the focal length is changed by changing the magnification to obtain a desired angle of view, the pixel pitch may be unintentionally recorded. In this study we propose the range that the pixel pitch is not observed while changing the magnification ratio of the zoom lens when the distance from the video wall is sufficiently secured. The content was played back on the LED video wall and the LED video wall was recorded on the server using an HD camera equipped with a B4 mount zoom lens

디지털 카메라에 의해 획득된 RGB 칼라 신호는 디지털 카메라의 하드웨어적인 특성에 따라 서로 다른 값을 가지는 장비 의존적(Device Dependent) 특성을 가지며, 칼라 운영 시스템(CMS; Color Management System)이 프로파일 연결 칼라 공간(PCS:Profile Connection Space)으로 사용하는 CIE XYZ 칼라 공간에 대해 비선형적인 특성을 가진다. 본 논문에서는 디지털 카메라의 RGB 칼라 신호를 장비 독립적(Device Independent)인 CIE XYZ 칼라 공간으로 변환하는 변환 행렬을 구하는 방법을 제안한다. 변환 행렬은 비선형 다항식을 이용하여 3$\times$m의 변환 행렬을 구하고, 실험에 사용되는 칼라 샘플의 수에 따른 일반화(Generalization) 성능을 평가한다.

가상스튜디오에서 보다 현실감 있는 영상을 제작하기 위해서는 전경화면의 객체와 컴퓨터그래픽으로 지원하는 가상 배경화면간의 동기화를 정확히 실현하는 것이 중요하다. 본 논문은 TV 카메라(실사 카메라)에 대한 추적 영상좌표를 이용하여 동기화에 필요한 카메라 파라메타의 추출방법을 제안한다. 추적 영상에 대한 역투시 방정식과 실사 카메라에 대한 기존좌표와 추정좌표간의 3-D 변환 식으로부터 카메라 파라메타 추출 식을 유도하고, 유도된 식을 이용하여 추출한 파라메타와 실사 카메라에 적용한 파라메타 간의 일치정도를 비교하여 제안한 방법에 대한 타당성을 보인다.

In order to produce an image that lends realism to audience in the virtual studio system. it is important to synchronize precisely between foreground objects and background image provided by computer graphics. In this paper, we propose a method of camera parameter extraction for the synchronization by tracking the pose of TV camera. We derive an equation for extracting camera parameters from inverse perspective equations for tracking the pose of the camera and 3-D transformation between base coordinates and estimated coordinates. We show the validity of the proposed method in terms of the accuracy ratio between the parameters computed from the equation and the real parameters that applied to a TV camera.