Earticle

직접 볼륨 렌더링은 의료영상과 같은 3차원 볼륨 데이터의 가시화에 널리 사용되는 방법이다. 본 논문은 직접 볼륨 렌 더링의 깊이 인식을 향상시키기 위해 피사계 심도 효과를 볼륨 광선투사법에 적용하는 방법을 제안한다. 제안하는 방 법은 인간의 지각 모델을 기반으로 카메라 모델을 적용하며 지터드 렌즈 샘플링을 사용하여 제한된 개수의 광선으로 사실적인 이미지를 획득할 수 있다. 또한, 전처리 과정 없이 GPU 파이프라인 안에서 피사계 심도를 바로 계산하여 볼륨 데이터의 대화식 탐색이 가능하다. 의료영상을 포함한 여러 데이터에 적용한 실험에서 기존 방법보다 2.6~4배 빠른 시간에 피사계 심도 효과를 표현하여 깊이 인식에 보다 도움을 주는 영상을 생성하는 것을 확인하였다.

Direct volume rendering is a widely used method for visualizing three-dimensional volume data such as medical images. This paper proposes a method for applying depth-of-field effects to volume ray-casting to enable more realistic depth-of-filed rendering in direct volume rendering. The proposed method exploits a camera model based on the human perceptual model and can obtain realistic images with a limited number of rays using jittered lens sampling. It also enables interactive exploration of volume data by on-the-fly calculating depth-of-field in the GPU pipeline without preprocessing. In the experiment with various data including medical images, we demonstrated that depth-of-field images with better depth perception were generated 2.6 to 4 times faster than the conventional method.

VTK.js는 의료영상 데이터를 웹 기반으로 가시화하는 라이브러리로 널리 사용된다. 그러나 그 기능이 기존 C언어 기반의 VTK에 비해 제한적이며, 영상 처리 기능은 CPU를 사용하는 자바스크립트로 작성되었기 때문에 수행 성능 이 느리다는 한계가 있다. 따라서 사용자는 다양한 기능의 추가 구현에 어려움을 느낀다. 본 논문은 웹 어셈블리 (Web Assembly)를 활용하여 VTK.js의 기능을 확장하며, 네이티브 언어 수준의 속도로 CPU 연산을 수행할 수 있 음을 보인다. 그 사례로서 고품질의 음영을 생성하는 볼륨 가시화 기법인 환경광 폐색을 증분 알고리즘과 Web Assembly를 이용하여 구현하였다. 전처리로 생성되는 환경광 분석은 웹 어셈블리를 이용한 CPU에서 수행되며, 그 결과를 이용한 가시화는 GPU에서 수행된다. 본 연구는 해당 기법을 VTK.js에서 제공하는 기능인 셰이더 프로그램 에 통합하므로 환경광 폐색의 고속 사전 계산과 실시간 가시화가 가능하다. 본 연구를 통해 VTK.js 기반의 응용 프 로그램에서 새로운 영상 기능을 웹 어셈블리를 이용하여 빠른 속도로 확장하고 가시화할 수 있는 가능성을 보인다.

VTK.js is widely used as a web-based visualization library for medical image data. However, its functions are limited compared to the existing C-based VTK. Moreover, the image processing function using the CPU is written in JavaScript, so the performance is low. Therefore, users find it difficult to additionally implement various functions. This paper shows that CPU operation can be performed at native speed by extending the function of VTK.js using Web Assembly. As an example, the ambient occlusion, a volume visualization technique that creates high-quality shading effect, was implemented using an incremental algorithm and Web Assembly. Ambient light analysis generated by preprocessing is performed on the CPU using Web Assembly, and visualization using the result is performed on the GPU. This study integrates the technique into a shader program, a function provided by VTK.js, enabling high-speed pre-calculation and visualization of ambient occlusion. This study shows the possibility of expanding new imaging functions using Web Assembly and visualizing them with VTK.js.

VTK.js는 의료영상 데이터를 웹 기반으로 가시화하는 라이브러리로 널리 사용된다. 그러나 그 기능이 기존 VTK에 비해 제한적이기 때문에 다양한 기능의 추가 구현을 필요로 한다. 본 논문은 Web Assembly를 활용하여 VTK.js의 기능을 확장하려 한다. 그 예로서 VTK.js에서 지원하지 않는 기법인 환경광 폐색 기법을 Web Assembly로 구현하여 기능을 확장 하였다.

의료영상 데이터를 이용하여 볼륨 가시화를 할 때, 대부분의 볼륨 가시화를 수행하는 응용프로그램들은 운영체제 및 특정 컴퓨터 장치에 제약을 받는다. 우리는 이러한 문제점을 해결하고자 운영체제와 특정 컴퓨터 장치로부터 상대적 으로 자유로운 웹 환경에서 볼륨 가시화 응용프로그램을 웹 기반 그래픽 프레임워크인 vtk.js를 이용하여 구현하였 다. vtk.js에서는 가장 핵심적인 기능인 볼륨 가시화를 구현할 때 셰이더 프로그램을 이용한다. 본 논문에서는 셰이 더 프로그램을 수정해 기존에 없던 기능을 확장하여 더 많은 기능을 사용자에게 제공할 수 있음을 보인다. 그 예시로 인체조직의 표면만을 가시화할 때 발생하는 노이즈를 제거하는 기법인 전적분(pre-integration) 기법과 인체조직의 표면을 복잡한 과정 없이 간단하게 볼륨 가시화할 수 있는 그래디언트를 이용한 투명도 조절(gradient opacity) 기 법을 구현하였다. 그리고 이 두 기법은 vtk.js에서 제공하는 기능인 블렌드 모드에 통합하는 데 성공하였다.

When performing volume rendering using medical image data, most applications that perform volume rendering are limited by operating systems and specific computer devices. To solve this problem, we implemented a volume visualization application using vtk.js, a web-based graphic framework, in a web environment that is relatively free from the operating system and specific computer devices. In vtk.js, a shader program is used to implement the most core function volume rendering. In this paper, it is shown that more functions can be provided to users by modifying this shader program to extend functions that did not exist before. As an example, we implemented the pre-integration technique, which is a technique to remove noise generated when only the surface of human tissue is visualized, and the gradient opacity technique, which can simple volume rendering of the surface of human tissue without a complicated process. And these two techniques succeeded in integrating into the blend mode, a function provided by vtk.js.

Ultrasound visualization is a typical diagnosis method to examine organs, soft tissues and fetus data. It is difficult to visualize ultrasound data because the quality of the data might be degraded by artifact and speckle noise, and gathered with non-linear sampling. Rendering speed is too slow since we can not use additional data structures or procedures in rendering stage. In this paper, we use several visualization methods for fast rendering of ultrasound data. First method, denoted as adaptive ray sampling, is to reduce the number of samples by adjusting sampling interval in empty space. Secondly, we use early ray termination scheme with sufficiently wide sampling interval and low threshold value of opacity during color compositing. Lastly, we use bilinear interpolation instead of trilinear interpolation for sampling in transparent region. We conclude that our method reduces the rendering time without loss of image quality in comparison to the conventional methods.

Objectives: In this paper, we present an efficient method to visualize computed tomography (CT) datasets using ambient occlusion, which is a global illumination technique that adds depth cues to the output image. We can change the transfer function (TF) for volume rendering and generate output images in real time. Methods: In preprocessing, the mean and standard deviation of each local vicinity are calculated. During rendering, the ambient light intensity is calculated. The calculation is accelerated on the assumption that the CT value of the local vicinity of each point follows the normal distribution. We approximate complex TF forms with a smaller number of connected line segments to achieve additional acceleration. Ambient occlusion is combined with the existing local illumination technique to produce images with depth in real time. Results: We tested the proposed method on various CT datasets using hand-drawn TFs. The proposed method enabled real-time rendering that was approximately 40 times faster than the previous method. As a result of comparing the output image quality with that of the conventional method, the average signal-to-noise ratio was approximately 40 dB, and the image quality did not significantly deteriorate. Conclusions: When rendering CT images with various TFs, the proposed method generated depthsensing images in real time.

We have developed a real-time software tool to extract a speech feature vector whose time sequences consist of three groups of vector components; the phonetic/acoustic features such as formant frequencies, the phonemic features as outputs on neural networks, and some distances of Japanese phonemes. In those features, since the phoneme distances for Japanese five vowels are applicable to express vowel articulation, we have designed a switch, a volume control and a color representation which are operated by pronouncing vowel sounds. As examples of those vowel interface, we have developed some speech training tools to display a image character or a rolling color ball and to control a cursor's movement for aurally- or vocally-handicapped children. In this paper, we introduce the functions and the principle of those systems.

The paradigm in biology is currently changing from that of conducting hypothesis-driven individual experiments to that of utilizing the results of a massive data analysis with appropriate computational tools. We present LayMap, an implemented visualization system that helps the user to deal with a high volume of the biomedical literature such as MEDLINE, through the layered maps that are constructed on the results of an information extraction system. LayMap also utilizes filtering and granularity for an enhanced view of the results. Since a biomedical information extraction system gives rise to a focused and effective way of slicing up the data space, the combined use of LayMap with such an information extraction system can help the user to navigate the data space in a speedy and guided manner. As a case study, we have applied the system to datasets of journal abstracts on 'MAPK pathway' and 'bufalin' from MEDLINE. With the proposed visualization, we have successfully rediscovered pathway maps of a reasonable quality for ERK, p38 and JNK. Furthermore, with respect to bufalin, we were able to identify the potentially interesting relation between the Chinese medicine Chan su and apoptosis with a high level of detail.

본 논문에서는 단층 촬영 영상(tomographic cross-section image)에 포함되어 있는 볼륨 정보를 표현하기 위한 새로운 방법을 제안하였다. 이 방법은 큐베릴 공간을 셀 공간으로 변환하고 경계셀들을 추출하여 볼륨을 재구성하는 방법이다 셀 경계 표현은 이러한 경계셀들과 이들의 지지 복셀들의 구조에 의해 표현되어 지는데, 항상 볼륨 정보를 정확하게 표현해낼 수 있다. 이 표현에서부터 가시화등의 작업에 필요한 표면모델을 추출하기 위해 19개의 모델링 원형을 제안하고 체적형, 표면형 그리고 선형으로 분류하였으며， 이들로부터 3차원 표면을 표 참조방식으로 빠르게 추출할 수 있는 알고리즘을 제안하였다. 제안된 방법의 장점은 기존에 제안된 마칭 큐브나 PVP알고리즘 등에서 흔히 발생하는 표면생성시의 모호성문제가 전혀 발생하지 않으며, 마칭 큐브 알고리즘에서 발생하는 표면의 크랙문제도 완전히 해결된다는 장점이 있다. 또한 알고리즘이 표 참조방식을 취하므로 하드웨어화 하기가 매우 용이하여 고속의 모델링이 필요한 분야에 매우 적합한 방법이다.

This paper addresses a new method for constructing surface representation of 3D structures from a sequence of tomographic cross-sectional images, Firstly, we propose cell-boundary representation by transforming the cuberille space into cell space. A cell-boundary representation consists of a set of boundary cells with their 1-voxel configurations, and can compactly describe binary volumetric data. Secondly, to produce external surface from the cell-boundary representation, we define 19 modeling primitives (MP) including volumetric, planar and linear groups. Surface polygons are created from those modeling primitives using a simple table look-up operation. Comparing with previous method such as Marching Cube or PVP algorithm, our method is robust and does not make any crack in resulting surface model. Hardware implementation is expected to be easy because our algorithm is simple(scan-line), efficient and guarantees data locality in computation time.

볼륨 가시화의 샘플링 단계에서는 보통 선형 보간이 사용된다. 선형 보간은 일반적으로 좋은 화질의 영상을 생성하지만 의료영상 소프트웨어는 높은 화질의 영상이 필요하기 때문에 경우에 따라 높은 기대에 미치지 못한다. 본 연구는 샘플링 단계에서 B 스플라인을 기반으로 하는 삼차 보간을 수행한다. 기존의 B 스플라인은 제어점을 지나지 않는 근사 함수이므로, 본 연구는 제어점을 이동하여 생성된 곡선이 원래의 제어점을 지나도록 하였다. 가시화 단계에서는 속도를 향상하기 위해 빈공간 도약을 적용 가능하다. 빈공간을 파악하기 위해서는 각 블록에 대한 최대값과 최소값을 계산해야 한다. B 스플라인은 볼록포 성질이 있어서, 제어점의 값을 최대값과 최소값으로 사용할 수 있다. 그 결과로 삼차 보간 기반의 볼륨 가시화가 대화적 속도로 가능하다.

Linear interpolation is a basic sampling method for volume visualization. This method generates good images but sometimes it is inferior to our high expectation because it is encouraged to produce high quality images in the medical applications. In this paper, B spline based tri-cubic interpolation is used for the re-sampling step. The conventional B spline is an approximation method which does not cross control points so that we moved the control points and the curve crosses the original control points. In the rendering step, the empty space leaping is applicable to increase rendering speed. We have to calculate the maximum and minimum values for each block to detect empty space. The convex hull property of B spline enables the values of control points to be used as the maximum and minimum values. As a result, tri-cubic interpolated volume rendering is possible in interactive speed.

본 논문은 종양을 주입한 쥐의 FDG-PET영상에서 정상세포보다 포도당대사가 활발한 종양조직의 3차원적 위치를 파악하고 잔여암 전이여부를 판별하기 위한 3차원 볼륨 가시화기법을 제안한다. 종양조직과 주변조직의 시각적 대비를 크게 하기 위해 명암도 분포에 따라 조직을 여러 클러스터로 나눈 후, 적응적 투명도 전이함수를 사용하였다. 관심영역을 불투명하게 표현하고 조직간 투명도 변화량을 크게 줌으로써 잡음이 심한 PET 영상에서 전경영역과 배경영역을 구분할 수 있었고, 명확한 시각대비 결과를 얻을 수 있었다. 추후 명암도값 외에 영암도 기울기, 관심영역 우선순위 등을 고려한 다차원 전이함수기법으로 확장함으로써 종양영역의 경계를 더욱 강조할 수 있을 것으로 기대된다.

모델링$\cdot$시뮬레이션 또는 첨단 센서 장비 기술의 발전으로 최근에 매우 높은 해상도를 갖는 방대한 크기의 볼륨 데이터들이 생성되고 있으며, 이러한 데이터를 효과적으로 가시화하기 위한 다양한 연구 결과들이 과학적 가시화 분야에서 발표되고 있다. 지금까지 연구된 대부분의 가시화 소프트웨어들은 워크스테이션과 PC를 기반으로 개발되었으며, 모바일 환경에서 가시화를 수행하는 소프트웨어는 아직까지 발표된 바가 없다. 본 논문에서는 PDA상에서 구현된 클라이언트와 대용량$\cdot$고성능 서버를 이용한 모바일 볼륨 가시화 시스템의 설계에 관해 설명한다. 이 시스템은 자세한 관찰이 필요한 특정 영역을 점진적으로 높은 해상도로 관찰할 수 있는 기능을 지원하여, 설정한 파라미터를 이용한 고화질 볼륨 가시화 영상의 렌더링을 요청하는 기능을 제공한다.

Visualization of three dimensional medical images has been studied in many ways. For CT and MRI data, 3D rendering schemes are commercially available and widly used. However visualization of ultrasonic 3D data is not popular yet, even though its potentional in medical diagnosis seems very high. In this paper we try to visualize 3D ultrasonic data. The basic method is adopted from the volume rendering technique. Based on the characteristics of the ultrasonic images, 3D visualization algorithm is developed and applied for the 3D image set of a dog heart.

뇌정위 수술(Stereotactic Surgery)은 컴퓨터 단층영상과 자기공명 영상 같은 3차원 영상을 이용하여 뇌병변의 위치를 입체적으로 정확히 파악하여 정상 뇌에 대한 손상을 최소화하며 병변을 수술하는 기법이다. 본 논문에서는 수술 받을 환자의 컴퓨터 단층영상과 자기공명 영상 등 다양한 종류의 3차원 볼륨 데이터를 전처리한 다음 동일한 3차원 공간 내에서 정렬시켜 선택적 또는 동시적으로 3차원 영상을 가시화 하는 기법을 제안한다. 또한 3차원 영상에서 뇌정위 수술의 삽입점과 목표점을 지정할 수 있는 기능을 지원하며 수술 경로에 따른 가상 수술의 시뮬레이션을 통하여 수술 경로의 안전성을 검증할 수 있게 하였다.

본 논문은 3차원 텍스쳐 기반의 볼륨 가시화를 위한 GPU 대역폭에 효과적인 렌더링 기법을 제안한다. 전처리 과정에서 옥트리를 이용하여 원본 볼륨 데이터를 계층적으로 균일한 크기로 분할하여 실제 영역만을 효과적으로 검출하게 되고, 렌더링 시에는 가시순서에 따라 옥트리를 탐색하며 리프 노드의 각 부볼륨을 텍스쳐 매핑 유닛에서 처리하고 블렌딩 유닛에서 이를 합성한다. 작은 크기($16^3$ 또는 $32^3$)의 부볼륨 처리는 텍스쳐와 픽셀 캐시의 이용율을 높이고 공백 공간 생략을 가용하게 하여 GPU의 메모리 대역폭을 크게 줄여 렌더링을 가속할 수 있다. 제안하는 기법의 캐시 효율, 메모리 트래픽, 렌더링 시간 등 다양한 실험 결과와 성능분석이 제공된다. 실험 결과는 제안하는 기 법이 전통적인 렌더링 방법에 비해 평균 11배의 대역폭 감소와 3배 빠른 렌더링을 가능하게 하여 GPU를 이용한 볼륨 렌더링에 효과적인 방법임을 보여주었다.

It is very useful to perform the surgery simulation before implanting TAH(Total Artificial Heart} in a patient. The space of chest and the shape of vessels are different from patient to patient. So, It is desirable to customize a TAH design to the anatomy structure of a patient. Several studies are performed to visualize and explain the 3D structure of heart. These studies are performed using 2-dimensional ref or mated images and simple measurement. Anatomy structure of a human heart is not so simple. It is 4dimensional structure ; 3-dimensional plus time, heart beating. 3-dimensional reconstruction schemes of medical images developed for about 10 years are usually categorized into two types of rendering technique ; surface rendering and volume rendering. Volume rendering is preferable in medical image processing field because this technique can be applied without considering the complexity of geometry and change of field of interest. The usable space in the chest of patient can be measured by 3D volume matching of patient trunk and TAH model. This space changes with time. In this research we have developed the 4-dimensional volume match program of patient and TAH model. 3-dimensional rendered set of volumes along time were used to simulate TAH fitting trial. The quantitative measurement from this simulation could be applied to customize TAH design.

초음파 태아 영상의 실시간 입체 가시화를 위한 볼륨 렌더링 가속화 방법은 결과영상에 영향을 끼치지 않는 관심객체영역외 빈공간을 샘플링 연산에서 제외시키는 공간도약 알고리즘이 일반적이다. 공간도약시 전처리과정에서 각 복셀에서 가장 가까이에 있는 객체의 경계복셀까지의 거리를 미리 계산 저장한 거리지도를 이용하면, 반복적 샘플링 연산을 줄임으로써 렌더링 속도 효율을 높일 수 있다. 거리지도 생성에 사용되는 여러 거리계산변환법 중 거리계산이 정교할수록 실수계산으로 인한 전처리시간이 소요되는 반면, 근사계산법을 이용하면 거리값 연산의 오차로 인한 샘플링의 횟수가 증가하는 단점이 있다. 본 논문에서는 전처리시간의 지연과 샘플링 횟수의 증가를 비교하여 초음파 태아 영상의 볼륨 렌더링에 가장 적합한 거리지도를 선택한다.

In real time rendering of fetus the empty space leaping while traversing a ray is most frequently used accelerating technique. The main idea is to skip empty voxel samples which do not contribute the result image and it speeds up the rendering time by avoiding sampling data while traversing a ray in the empty region, saving a substantial number of interpolations. Calculating the distance from the nearest object boundary for every yokel can reduce the sampling operation. Among widely-well-known distance maps, those estimates the true distance, such as euclidean distance, takes a long time to compute because of the complicated floating-point operations, and others which uses approximated distance functions, such as city-block and chessboard, provides faster computation time but sampling error may can occur. In this paper, therefore, we analyze the characteristics of several distance maps and compare the number of samples and rendering time. And we aim to suggest the most appropriate distance map for rendering of fetus in ultrasound image.

볼륨 렌더링은 3차원이나 그 이상의 차원의 볼륨 데이터에서 의미있는 정보를 추출해 내어 직관적으로 표출하는 가시화 기법을 말하며 의료영상, 기상학, 유체역학 등 다양한 분야에서 널리 사용되고 있다. 한편, 최근 PC 하드웨어의 급격한 발전으로 과거에는 슈퍼컴퓨터에서나 가능했던 대용량 볼륨 데이터의 가시화가 일반 PC 환경에서도 가능하게 되었다. GPU의 꼭지점 및 픽셀 쉐이더의 수치 계산에 최적화된 벡터 연산으로 빠른 볼륨 가시화를 가능하게 한 것이다. 그러나 GPU의 메모리 용량의 한계로 대용량의 볼륨 데이터를 빠르게 가시화하는 것은 지금까지 어려운 문제로 남아있다. 본 논문에서는 GPU의 텍스쳐 메모리 크기보다 큰 볼륨 데이터를 여러 개의 GPU 메모리에 분산시키고 이를 꼭지점 및 픽셀 쉐이더를 이용하여 빠르게 렌더링하여 타일형 디스플레이에서 고해상도로 가시화하는 시스템을 디자인하고 구현하고자 하였다.

일반적으로 3차원 복셀 데이터의 가시화는 표면 복셀의 법선 벡터를 이용하여 퐁 반사 모형으로 밝기를 결정하는 일이라 할 수 있다. 표면의 변화가 부드러운 기하학적 모형의 가시화는 법선 벡터만으로 충분한 결과를 얻을 수 있지만, 표면의 굴곡이 심한 비정형의 데이터에는 적합하지 않을 수 있다. 따라서 본 논문에서는 물체 표면의 굴곡에 따라 빛의 양을 조절하여 이러한 문제를 개선하는 방법을 제안하였다. 이 방법으로 물체 표면의 굴곡을 고려하지 않을 때보다 물체가 선명하게 가시화되는 결과를 얻었다.

볼륨 렌더링은 스칼라 데이터로 구성된 3 차원 볼륨 데이터를 가시화하는 기법을 가리키며, 유체 역학, 지진, 기상, 해안, 천문, 의료 등 다양한 분야에서 데이터를 분석하는데 널리 사용된다. 최근에는 대용량 볼륨 데이터가 생성되면서 고해상도 디스플레이에 대한 요구가 높아졌으며, 이에 따라 타일형 디스플레이 장치에서 볼륨 데이터를 가시화하려는 시도가 많이 이뤄지고 있다. 본 논문에서는 타일형 디스플레이 장치에서 볼륨 데이터를 가시화하는 기법을 구현했다. 볼륨 데이터 렌더링은 타일형 디스플레이 장치와 연결된 PC-클러스터에서 그래픽스 하드웨어를 사용하는 볼륨 렌더링 기법으로 수행했으며, 이렇게 렌더링된 결과 이미지를 컴포지팅함으로써 해당 디스플레이 장치에 적절한 이미지를 생성했다.