Earticle

In this paper we present a system that enables the user to interact with large display system even without touching the screen. With two infrared sensitive cameras mounted on the bottom left and bottom right of the display system pointing upwards, the user fingertip position on the selected region of interest of each camera view is found using vertical intensity profile of the background subtracted image. The position of the finger in two images of left and right camera is mapped to the display screen coordinate by using pre-determined matrices, which are calculated by interpolating samples of user finger position on the images taken by pointing finger over some known coordinate position of the display system. The screen is then manipulated according to the calculated position and depth of the fingertip with respect to the display system. Experimental results demonstrate an efficient, robust and stable human computer interaction.

In recent years, the interactive systems with large display have been on the rise, and research on these systems is increasing. While prior research has explored various interaction techniques and input devices developed for large display, it focused on interaction devices used at specific distances from the display. This research introduces a multi-scale user interaction approach that utilizes a multi-touch screen, freehand gestures and mobile interfaces to help users seamlessly interact with the interactive system regardless of their distance from the display. An experiment was conducted to evaluate how users adopted the multi-scale user interaction to more effectively perform various user interaction tasks. The result showed that the multi-scale user interaction helped users improve their overall task performance. It also found that users tended to utilize different multi-scale user interfaces to complete different kinds of tasks.

디지털 미디어의 발달에 힘입어 오늘날은 여러 미디어들이 서로 통합되는 ‘미디어 컨버전스(Media Convergence)'의 시대로 접어들게 되었다. 이러한 미디어 환경에서 여러 미디어 플랫폼을 자유롭게 넘나드는 융합적 형태의 미디어에 대한 새로운 해석 방식으로 등장한 실감 미디어(Tangible Media)는 인간의 오감 인식 기술과 접목되어 차세대 영상 미디어로 각광을 받고 있다. 시각적 측면뿐만 아니라 실제 대상을 만지는 듯한 촉각적 체험을 가능케 하는 실감 미디어는‘Tangible User Interface(실감형 사용자 인터페이스, 이하 TUI)'와 조우하면서 미래의 혁신기술로 평가되고 있으며 그 활용 방식에 있어서도 많은 변화를 겪고 있다. 1990년대 초를 기점으로 지속적으로 발전해 온 TUI는 단순히 평면 스크린 안에서 대상을 제어하던 시대를 지나 수용자가 여러 형태의 실감형 미디어를 통해 전달되는 갖가지 디지털 신호를 인지하며 이를 원하는 방향으로 조작할 수 있는 단계에 이르렀다. 이러한 현 시점에서 향후 TUI의 효과적인 적용과 이의 추가적인 개발과 발전을 위하여 이를 체험하는 수용자들이 인터페이스의 외적 형태나 사용 동선에 대하여 어떠한 태도를 취하는지를 파악하는 것은 매우 의미 있는 유용한 연구가 될 것이다. 이에 본 연구에서는 오늘날의 발전된 미디어 기술 환경에서 직접적인 콘텐츠 체험 도구로서 TUI를 사용하는 수용자들의 태도가 어떻게 형성되는지 파악하기 위한 연구목적으로 분석연구를 진행하였다. 각 각의 미디어에 대하여 그 외적 형태와 전달 방식을 달리하고 있는 TUI의 수용자 태도 연구를 위하여 본 연구에서는 최근의 체험형 전시장을 대상으로 하여 기존의 TUI 매체들을 조작 방식별로 분류하고 그 사례들에 대하여 면밀하게 조사 분석하였다. 이후 경험론에 근거한 수용자 경험 속성을 바탕으로 분류된 TUI의 태도 항목들을 설정하여 체험형 전시장에서의 TUI에 대한 수용자들의 체험 반응에 대하여 설문연구를 통해 분석, 고찰하였다.

The development of digital media is such that it can serve as a platform for all types of media. Hence, the transference of media is now possible, leading to the phenomenon of ‘media convergence'. Tangible media, which was appeared as a new interpretive method pertaining to media in an integrated form among all media in the current environment, is in the limelight as the images and media of the next generation. Tangible media, which offers tangible experiences such as the touching of objects in addition to visual experiences, is undergoing many changes with regard to its application methods. It is also considered to be a renovation technique of the future. TUIs, which have been growing consistently, started in the early 1990s. They allow users to recognize several digital media signals and control the directions of the signals through tangible media in several forms, as compared to the generation of users which controlled digital signals on only flat screens. At this point, an understanding of audience attitudes with regard to the external form and flow when experiencing the interface will be meaningful research for developing effective applications and for the additional development of TUIs. The purpose of this study is to grasp audience attitudes with regard to TUIs and to understand how they can become a new method of experience in the currently developed technical environment. In this study, existing TUI types of media are classified as an operation system targeting the latest hands-on exhibitions, and examples are analyzed carefully with regard to audience attitudes toward TUIs given their different means of delivery. We then establish attitude categories for TUIs based on the audience experience attributes.

Interactive patterns are able to promote the notion of interaction in groupware application development. Hence, these patterns improve the students’ engagement and promote problem solving collectively. This paper reports on the usability of the interactive patterns in designing and developing a collaborative language application. With interactive patterns, we are able to design and develop two different interactive shared single display education applications. RimbaIlmu is an after school programme to allow students to learn Bahasa Malaysia during their free time. RICLAT is an authoring tool for collaborative presentations. The patterns are useful to enrich the interaction among both education applications. Also, it facilitates more effective communication among the group members and enriches the interaction for students based on the qualitative analysis.

본 논문은 미디어를 통해 몰입하는 근대 문명에 관한 미디어고고학적 탐구다. 본 논문에서 나는 오늘날 인류가 추구하는 몰입을 ‘완전 몰입’이라 명명하고, 완전 몰입의 기술로 디스플레이 착용과 상호작용성(interactivity)를 언급할 것이다. 18세기에 등장해 대략 지난 300년 동안 영속했던 근대 몰입문화는 스크린을 응시하는 수동적인 방식이었으며, 지극히 정신적인(psychological) 차원이거나 현실의 물리적 요소에 기반한 정신물리적(psychophysical) 이었다. 이것은 미디어고고학자 에르키 후타모의 주장이기도 하다(Huhtamo 2013: 201). 본 논문은 21세기 인류가 욕망하는 몰입은 순수하게 가상적인 ‘완전 몰입’이라고 주장한다. VR HMD는 근대 시각문화가 상상에 의존했던 몰입의 요소를 기술적으로 현실화해 응시의 몰입에서 이미지의 통제자로서 관객의 위상이 변화시킴으로써, 완전 몰입의 단계로 우리를 초대했다고 주장하고자 한다. 스크린은 완전히 투명해져 매개의 그림자도 남기지 않는다. 이러한 완전한 몰입 속에서 인류, 즉 가상세계 속의 ‘나’는 누구인가? 인간존재의 정체성은 어떻게 변화하고 있는가? 본 논문은 과거와 달리 더는 현실과 가상의 이분법이 아닌, 더는 미메시스에 국한되지 않는 몰입의 문화를 창조하는 인류의 정체성과 시각문화의 지평에 대한 역사적 이해를 찾기 위한 시간여행이다.

This paper, a media archaeological exploration of an immersive human being, will define immersiveness for humankind and a display of the type that appeared in the 21st century as a form of total immersion. As Erkki Huhtamo argues, the immersive visual culture of the modern age, which formed in the 18th century and continued up to the point before the emergence of VR HMD, lasting more than 300 years, was very much a passive way of gazing at the screen while also being psychophysical, as a method that was based on both psychological and physical elements. This paper will argue that the immersive visual culture of the 21st century, which is gradually formed by VR HMD, is truly virtually ‘total immersion’. By realizing what the immersive visual culture of the modern age couldn’t help but imagine, digital-based VR HMD invites us to take the final step of being totally immersive. This means that the spectator moves from a passive observer to an active participant and a controller of virtual reality. The screen has become transparent to the point it does not show us any type of shadow of mediation. This paper explores who we are in virtual reality in the age of total immersion. It questions how the identity of human beings has been transformed in this age.

본 연구에서는 interactive 3D(i3d) 시스템을 사용하는 시청 환경에서의 시각 피로를 측정하고, 시각 피로에 영향을 주는 중요한 변인이 무엇인지를 연구하였다. i3D는 무안경식 디스플레이로 사용자가 화면에 제시되는 자극에 대해 손을 사용한 간단한 상호작용을 지원한다. 실험 1에서는 i3D 환경에서 시각피로를 측정할 수 있는 설문문항을 개발하기 위해, 개방형 설문을 실시한 후 사용자의 응답을 다시 설문문항으로 사용하여 요인분석을 통해 문항의 타당성을 검증하였다. 실험 2에서는 실험 1에서 도출한 피로측정 설문지를 사용하여 다양한 시청환경에서 피로를 측정하였다. 협응동작(유/무), 시청거리(1/2/4m), 시청방위($0/28/56^{\circ}$)의 세 변인을 사용하여 피험자내 요인설계를 통해 각 조건에서의 시각피로를 측정하였다. 그 결과, 시청거리가 멀어질수록 시각피로가 줄어드는 결과를 획득하였으며, 시청방위와 협응동작은 시각피로에 영향을 미치지 않는 것을 확인하였다. 실험조건 중 극단적인 시청환경 (예를 들어, 시청거리 1m, 시청방위 $56^{\circ}$)인 조건에서는 피로감이 줄어드는 결과를 획득하였으나 이는 무안경식 디스플레이의 한계로 인해 입체감이 사라져 참가자들이 이중상을 경험한 결과인 것으로 해석하였다. 본 연구의 제한점과 후속 연구에 대한 제안을 종합논의에 제시하였다.

In this study, we investigated visual fatigue in i3D system and basic factors that contribute to visual fatigue in the system. i3D is a type of glasses-free display which supports elementary manual interaction of users with the display. In Experiment 1, we performed open-ended survey of visual fatigue and collected responses from observers which then were used as survey questions for visual fatigue. The questions were validated by factor analysis from which we derived fatigue measurement scale. In Experiment 2, we measured visual fatigue in various conditions using survey questions obtained from Experiment 1. Using manual interaction (present/absent), viewing distance(1/2/4m), and viewing orientation($0/28/56^{\circ}$) as three factors in within-subject design, we measured visual fatigue in each condition. The results indicated that visual fatigue deceases with farther viewing distance, but viewing orientation and manual interaction does not influence visual fatigue. Although fatigue unexpectedly decreased in an extreme viewing condition (e.g., distance 1m, orientation $56^{\circ}$), the results were obtained because of technical limitation of glasses-free 3D display. General discussion provides discussion on limits of the current study and suggestions for future research.

패턴 인식 연구 분야에서 많은 특징점 추출 알고리즘들이 개발되었지만, 태블릿 PC나 LCD 태블릿과 같은 펜-입력 디스플레이를 위한 인터액티브 애플리케이션들은 기존과는 다른 요구사항을 가진다. 사용자 마다 다른 다양한 스케치 스타일의 대해서 세그멘테이션 및 특징점 추출을 그림을 그리는 동안 실시간에 안정적으로 수행하여야 한다. 본 논문은 사용자로부터 자유로이 입력된 펜 입력을 분할(segmentation)하기 위해 필수적인 곡률(curvature) 측정 방법을 제안한다. 이 방법은 국소적인 모양 정보(shape descriptors)만을 사용하므로 펜 입력동안 곧바로(on-the-fly) 곡률을 측정할 수 있다. 본 알고리즘은 3차원 스케치 기반 모델링 애플리케이션에서 펜 마킹 인식을 위해서 사용되었다.

There exist many feature point detection algorithms that developed in pattern recognition research . However, interactive applications for the pen-input displays such as Tablet PCs and LCD tablets have set different goals; reliable segmentation for different drawing styles and real-time on-the-fly fieature point defection. This paper presents a curvature estimation method crucial for segmenting freeHand pen input. It considers only local shape descriptors, thus, peforming a novel curvature estimation on-the-fly while drawing on a pen-input display This has been used for pen marking recognition to build a 3D sketch-based modeling application.

최근 투명 스크린을 이용한 인터랙티브 상품 전시 시스템은 다양하게 상용화되고 있다. 하지만 기존 시스템은 사용자와 실제 상품간의 인터랙션이 아닌 사용자와 투명 스크린 속 콘텐츠간의 인터랙션에 불과하다. 본 논문에서는 동작인식 기술 및 실시간 사용자 분석을 통한 선호상품 추천기술을 결합한 투명 스크린 기반 인터랙티브 상품 전시 시스템을 구현 및 실험하였다.

최근 투명 스크린을 이용한 인터랙티브 상품 전시 시스템은 다양하게 상용화되고 있다. 하지만 기존 시스템은 사용자와 실제 상품간의 인터랙션이 아닌 사용자와 투명 스크린 속 콘텐츠간의 인터랙션에 불과하다. 본 논문에서는 동작인식 기술 및 실시간 사용자 분석을 통한 선호상품 추천기술을 결합한 투명 스크린 기반 인터랙티브 상품 전시 시스템을 구현 및 실험하였다.

본 논문에서는 스크린을 터치를 하지 않고 또한 스크린의 영역의 크기에 상관없이 제스처를 이용하여 인터랙션이 가능한 제스쳐 인식 모듈을 이용한 대규모 멀티 인터랙티브 디스플레이 시스템을 제안한다. IR laser를 이용하여 인터랙션 영역을 생성하고 band pass filter를 장착한 적외선 카메라를 이용하여 인터랙션 영역 안의 영상을 획득한다. 획득되어진 영상은 제안하는 영상처리모듈을 이용하여 이진화->블랍-라벨링 과정을 거쳐 잡음을 제거한 후 인터랙션 영역 안에서 이루어지는 인터랙션 좌표를 획득한 후 Packet으로 저장한다. 저장 된 Packet은 네트워크 통신 시스템을 이용하여 Server로 보내어지고 Server에서는 메타포분석모듈을 이용하여 분석하여 결과를 메타포이벤트로 저장한 후 콘텐츠에 보낸다. 콘텐츠에서는 받은 메타포이벤트에 따라서 콘텐츠 결과를 보여 줌으로써 스크린을 터치 하지 않아도 터치 인터랙션이 가능하며 스크린 영역에 제한 없이 많은 사용자가 동시에 사용이 가능한 시스템 사용이 가능하도록 한다. 본 시스템은 향후 보다 다양한 인터랙션과 시스템 크기의 확장으로 보다 많은 사용자가 동시에 사용가능하며 다양한 인터랙션을 사용할 수 있는 인식 디바이스로써 활용이 가능하다.

본 논문에서는 스크린을 터치를 하지 않고 또한 스크린의 영역의 크기에 상관없이 제스처를 이용하여 인터랙션이 가능한 제스쳐 인식 모듈을 이용한 대규모 멀티 인터랙티브 디스플레이 시스템을 제안한다. IR laser를 이용하여 인터랙션 영역을 생성하고 band pass filter를 장착한 적외선 카메라를 이용하여 인터랙션 영역 안의 영상을 획득한다. 획득되어진 영상은 제안하는 영상처리모듈을 이용하여 이진화->블랍-라벨링 과정을 거쳐 잡음을 제거한 후 인터랙션 영역 안에서 이루어지는 인터랙션 좌표를 획득한 후 Packet으로 저장한다. 저장 된 Packet은 네트워크 통신 시스템을 이용하여 Server로 보내어지고 Server에서는 메타포분석모듈을 이용하여 분석하여 결과를 메타포이벤트로 저장한 후 콘텐츠에 보낸다. 콘텐츠에서는 받은 메타포이벤트에 따라서 콘텐츠 결과를 보여 줌으로써 스크린을 터치 하지 않아도 터치 인터랙션이 가능하며 스크린 영역에 제한 없이 많은 사용자가 동시에 사용이 가능한 시스템 사용이 가능하도록 한다. 본 시스템은 향후 보다 다양한 인터랙션과 시스템 크기의 확장으로 보다 많은 사용자가 동시에 사용가능하며 다양한 인터랙션을 사용할 수 있는 인식 디바이스로써 활용이 가능하다.

본 논문에서는 적외선 LED BAR를 기반으로 하여 3D 입체 영상을 이용하면서 다양한 터치 인터랙션이 가능한 대규모 인터랙티브 디스플레이 시스템을 제안한다. 제안하는 IR LED BAR를 이용하여 입체 영상의 느낌을 느낄 수 있는 스크린과 떨어진 공간에 인터랙션 막을 생성 한다. band pass filter를 장착한 적외선 카메라를 통하여 실시간으로 영상을 획득한다. 획득되어진 영상은 영상처리모듈을 통하여 터치 인터랙션 좌표 정보를 구하고 packet으로 저장한다. 네트워크 데이터 통신을 통하여 packet을 server로 보내며 server에서 메타포 분석 모듈로 packet을 분석하고 메타포 이벤트로 저장하여 콘텐츠에 보낸다. 콘텐츠에서는 실시간으로 메타포 이벤트 결과를 실행하여 입체 영상에서 터치 인터랙션이 사용 가능하도록 한다. 그로 인하여 직접 스크린을 터치하지 않아도 시스템과 터치 인터랙션이 가능하게 됨에 따라 3D 입체 영상을 이용하면서 터치 인터랙션이 가능하게 되었다.

In this thesis, it suggests large scale interactive display system which is able to various touch interaction and bases on infrared LED BAR and using 3D. Interaction layer formed on space from screen which is able to feel 3D using suggested IR LED BAR. It gets the image in real time what is composed in interaction section using infrared camera with band pass filter. The image finds touch interaction coordinate through image processing module and saves as packet. It send packet to server through network data communication. It analyze packet by metaphor analysis module and save as metaphor event and send it to contents. On contents, it practices to metaphor event result in real time so it makes use touch interaction in stereopsis. According to this process, it does not need touch the screen at firsthand but it is possible system and touch interaction so touch interaction is possible while use 3D.

정보 과학 기술의 발전과 생활 수준의 향상이 가속화되면서 주변 환경을 구성하는 가구나 공간조차도 정보 통신과 컴퓨터 기능이 내재된 인간과 상호작용할 수 있는 개념으로 확장되고 있다. 또한 비즈니스의 규모가 방대해지면서 협업이 필요성이 증가되는 가운데 단일 사용자에게 맞춰진 표준 데스크탑을 대체할 새로운 기기와 인터페이스에 대한 요구가 증가하고 있다. 본 연구에서는 이런 패러다임에 맞춰 선호되고 있는 테이블탑 컴퓨팅을 다수의 LCD와 PC를 포함하는 분산 하드웨어 방식의 고해상도 대형 디스플레이로 구성하고, 다중 사용자의 입력을 동시적으로 처리할 수 있는 적외선 카메라를 활용한 마커 인식 기반의 탠저블 인터페이스를 개발하였다. 그리고 이 시스템에서 동작하는 고해상도 이미지 뷰어와 퍼베이스브 블록 격파 게임 응용프로그램을 구현하였다.

정보 과학 기술의 발전과 생활 수준의 향상이 가속화되면서 주변 환경을 구성하는 가구나 공간조차도 정보 통신과 컴퓨터 기능이 내재된 인간과 상호작용할 수 있는 개념으로 확장되고 있다. 또한 비즈니스의 규모가 방대해지면서 협업이 필요성이 증가되는 가운데 단일 사용자에게 맞춰진 표준 데스크탑을 대체할 새로운 기기와 인터페이스에 대한 요구가 증가하고 있다. 본 연구에서는 이런 패러다임에 맞춰 선호되고 있는 테이블탑 컴퓨팅을 다수의 LCD와 PC를 포함하는 분산 하드웨어 방식의 고해상도 대형 디스플레이로 구성하고, 다중 사용자의 입력을 동시적으로 처리할 수 있는 적외선 카메라를 활용한 마커 인식 기반의 탠저블 인터페이스를 개발하였다. 그리고 이 시스템에서 동작하는 고해상도 이미지 뷰어와 퍼베이스브 블록 격파 게임 응용프로그램을 구현하였다.

체감 효과 (haptic effect)는 가상 환경에서의 실재감 부여를 위하여 중요시되고 있다. 반면, 가상 객체에 실재와 흡사하게 연동하는 기술은, 체감 효과의 모델링과 함께 렌더링 시간 둥의 문제 때문에 사용의 한계를 가진다. 본 논문에서는, 실시간 체감 효과를 위하여 필수적인 가상 객체와의 동기화 기법에 대하여 다룬다. 이를 위하여, 가상 객체에 작용하는 동역학적 움직임을 체감 효과에 대응되도록 하는 알고리즘을 제안하고, 이를 실시간 충들 처리와 연동함으로써 필요한 시간을 최소화 할 수 있음을 제시한다. 본 논문의 결과로는 캐릭터의 빈번한 제어에 대응되도록 체감 효과를 생성할 수 있음을 보이며, 안정적이면서 그럴 듯한 효과를 재현할 수 있음을 보인다.

본 논문에서는 맞춤 가구 제작 및 제작된 가구의 배치를 위한 효율적이면서도 사용하기 용이한 3D Visual 디스플레이 시스템을 개발하고자 한다. AutoCAD로 만들어진 평면파일(*.dxf) 그리고 3D 제작툴로 만들어진 오브젝트 파일(*.3ds)을 이용하여 현실감 있도록 시뮬레이션 하는 것을 목표로 한다. 2D로 제작된 AutoCAD 평면 설계 파일을 이용하여 평면 파일을 3D 투시도로 변환하고 3DS파일로 구축한 객체들을 배치한 뒤 텍스처매핑, 렌더링 등을 구현하여 최대한 현실감을 낼 수 있도록 개발한다.