Earticle

3D 모델을 구현하고 표현하는 두 가지 기술인 3D Reconstruction과 View Synthesis 기술에 있어서 최근 각 광받고 있는 View Synthesis 기술인 Neural Radiance Field(NeRF)와 NeRF의 기반이 되는 3D Reconstruction 기 술인 COLMAP을 각각 살펴보고, 동일한 이미지 데이터를 기반으로 얻어진 결과에 대해서 정성적으로 비 교해본다.

본 연구는 의료 시술 후의 경과를 빠르고 간단하게 예측할 수 있는 가상 의료 계획 방법을 제안한다. 제안 방법은 촬영된 동영상으로부터 NeRF를 이용하여 볼륨데이터를 생성하고, 공간 분리를 통해 좌표계를 실공간과 가상공간 으로 분리한다. 변형체 가시화는 가상공간에서의 역변환을 이용하여 수행한다. 또한, 사용자의 입력을 통해 변형하 고자 하는 영역의 크기와 변형의 세기를 설정하여 다양한 교정 부위의 크기에 대해서 자연스러운 변형이 이루어지도 록 한다. 변형은 변형 영역의 중심으로부터 멀어질수록 변형 세기가 감쇠되도록 좌표들 사이의 맨해튼 거리 (manhattan distance)를 변형 세기의 가중치로 사용한다. 마지막으로, 그래픽스 처리장치(GPU)를 이용한 병렬 화를 통해 대화적 시간으로 변형이 가능하다.

This research proposes a virtual medical planning method that can quickly and simply predict the outcomes following medical procedures. The method generates volume data from recorded videos using Neural Radiance Fields (NeRF) and separates the coordinate system into real and virtual spaces through spatial separation. Visualization of deformations is performed using inverse transformations in the virtual space. Moreover, users can set the size and intensity of the desired deformations based on their input parameters, ensuring proper deformations for various sizes of correction areas. The intensity of the deformation diminishes as it moves away from the center of the deformation area, using the Manhattan distance between coordinates as a weight for the deformation intensity. Lastly, transformations can be performed in interactive time through parallel processing using a GPU.

컴퓨터 비전 및 컴퓨터 그래픽스 분야에서 NVS를 이용하여 3D 뷰를 만드는 데 사용되는 NeRF의 방법론을 살펴보고 동일한 데이터 아래 서로 다른 손실함수를 통한 모델링 결과를 비교한다. 기존의 NeRF는 MSE를 손실함수로 채택하여 학습을 진행하는데 이 논문에서는 그 결과와 L1 손실 함수, Huber 손실 함수를 이용한 결과를 정량적, 정성적으로 비교한다. 비교한 결과 Huber loss를 사용하는 경우가 정량적으로 최고의 결과를 내었고 정성적으로는 세 손실함수 모두 큰 차이를 내지 않았다. 해당 결과만 보았을 때는 Huber loss를 사용하는 것이 효율적이라고 판단할 수 있다.

AI 기술의 발전은 방송, 영상, 게임 등 다양한 콘텐츠 산업에서 활용 범위를 확대하고 있으며, 그중에서도 2D 이미지를 3D로 표현하는 NeRF(Neural Radiance Fields) 기반 기술이 주목받고 있다. NeRF는 적은 수의 2D 이미지로부터 고해상도의 3D 모델을 빠르게 3D 공간에 표현할 수 있는 기술로, 기존의 3D 모델링 제작 과정에서 요구되던 복잡한 단계를 크게 줄여준다. 특히, 인간 얼굴과 같은 복잡한 구조를 정밀하게 표현할 수 있는 이점 덕분에 제작 시간을 단축하고 비용을 절감할 수 있어 콘텐츠 제작의 효율성을 크게 향상시킨다. 본 연구는 디지털 휴먼 제작에 NeRF 기반 기술을 적용하여 3D 모델링 파이프라 인에서의 호환성과 사용성을 평가하였다. 이를 위해 NeRF 기반 3DGS(3D Gaussian Splatting) 기술을 사용하여 3D 데이터 를 생성하고, 이 데이터를 기존의 그래픽스 파이프라인에 적용하여 호환성을 분석하였다. 연구 결과, 3DGS 기술은 기존의 3D 모델링 과정에 비해 제작 시간을 크게 단축시켰으며, 재구성된 모델의 정확성도 매우 높았다. 그러나 머리카락, 눈썹, 피 부 질감 등의 세부적인 표현에서 다소 한계가 있었다. 본 연구는 또한 전문가 검증을 통해 NeRF 기반 기술이 디지털 휴먼 제작 파이프라인의 효율성을 높일 수 있음을 확인하였으며, 향후 기술적 개선을 통해 다양한 콘텐츠 제작에 더욱 폭넓게 활용 될 수 있을 것으로 기대된다.

The applicability of AI technology is expanding in various content industries, such as broadcasting, film, and gaming, with particular attention being paid to NeRF (neural radiance fields)-based technology, which reconstructs 2D images into 3D models. NeRF can quickly render high-resolution 3D models from a small number of 2D images, significantly reducing the complexity traditionally required in 3D modeling processes. This technology is especially effective when it is necessary to represent complex structures such as human faces accurately, thus reducing both the production time and cost and greatly enhancing the efficiency of content creation. This study evaluates the compatibility and usability of NeRF-based technology in the 3D modeling pipeline for digital human production. Using NeRF-based 3D Gaussian splatting (3DGS) technology, 3D data were generated and applied to an existing graphics pipeline for a suitability assessment. The results demonstrate that 3DGS technology significantly reduces the production time compared to traditional 3D modeling processes while achieving high accuracy in the reconstructed models. However, there were limitations in the detailed representation of hair, eyebrows, and skin textures. Expert validation confirmed that NeRF technology can enhance the efficiency of digital human production pipelines, and with further technological improvements, this technology is expected to be widely applied in various content creation fields.

딥러닝 기반 모델과 물리 시뮬레이션을 결합한 연구는 의료 분야에서 중요한 발전을 이루고 있다. 이는 의료영상 데이터에서 필요한 정보를 추출하고, 물리적 법칙을 기반으로 골격 및 연조직의 변형에 대한 빠르고 정확한 예측을 가능하게 한다. 본 연구는 신경 방사 필드(NeRF), 위치 기반 동역학(PBD), 병렬 리샘플링을 융합하여 3D 볼륨데이터를 쉽게 생성하고 실시간으로 변형 및 시각화하는 시스템을 제안한다. NeRF는 2D 이미지와 카메라 좌표 정보를 사용해 고해상도 3D 볼륨 데이터를 생성하며, PBD는 물리 기반 시뮬레이션으로 획득한 데이터에 대한 실시간 변형과 상호작용을 가능하게 한다. 병렬 리샘플링은 사면체 메쉬와 GPU 병렬 처리를 통해 렌더링 효율성을 높인다. 이 시스템은 광선투사방식으로 렌더링 되어 빠른 실시간 시각화를 제공하며, 비싼 장비 없이 간단하게 3D 데이터를 생성하고 변형할 수 있어 공학, 교육, 의료 등 다양한 분야에서의 활용 가능성을 보여준다.

Research combining deep learning-based models and physical simulations is making important advances in the medical field. This extracts the necessary information from medical image data and enables fast and accurate prediction of deformation of the skeleton and soft tissue based on physical laws. This study proposes a system that integrates Neural Radiance Fields (NeRF), Position-Based Dynamics (PBD), and Parallel Resampling to generate 3D volume data, and deform and visualize them in real-time. NeRF uses 2D images and camera coordinates to produce high-resolution 3D volume data, while PBD enables real-time deformation and interaction through physics-based simulation. Parallel Resampling improves rendering efficiency by dividing the volume into tetrahedral meshes and utilizing GPU parallel processing. This system renders the deformed volume data using ray casting, leveraging GPU parallel processing for fast real-time visualization. Experimental results show that this system can generate and deform 3D data without expensive equipment, demonstrating potential applications in engineering, education, and medicine.

This paper proposes a new approach with a distance-based regularization to the entropy applied to the NBV (Next-Best-View) selection with NeRF (Neural Radiance Fields). 3D reconstruction requires images from various viewpoints, and selecting where to capture these images is a highly complex problem. In a recent work, image acquisition was derived using NeRF's ray-based uncertainty. While this work was effective for evaluating candidate viewpoints at fixed distances from a camera to an object, it is limited when dealing with a range of candidate viewpoints at various distances, because it tends to favor selecting viewpoints at closer distances. Acquiring images from nearby viewpoints is beneficial for capturing surface details. However, with the limited number of images, its image selection is less overlapped and less frequently observed, so its reconstructed result is sensitive to noise and contains undesired artifacts. We propose a method that incorporates distance-based regularization into entropy, allowing us to acquire images at distances conducive to capturing both surface details without undesired noise and artifacts. Our experiments with synthetic images demonstrated that NeRF models with the proposed distance and entropy-based criteria achieved around 50 percent fewer reconstruction errors than the recent work.

2차원 이미지 또는 영상을 통한 자세 추정의 경우, 영상 내에서 발생할 수 있는 탐지 오류, 피사체 잘림, 폐색(Occlusion) 등으로 인해 자세 추정 정확도가 감소할 수 있다. 본 논문에서는 4장 이상의 다양한 각도로 촬영한 이미지를 NeRF(Neural Radiance Fields)를 통해 이미지 합성(Image synthesis)을 진행하여 3차원 모델을 생성한다. 이후 DeepLabCut을 사용하여 관절 좌표와 골격(Skeleton)을 구축한다. 구축한 골격을 인공지능에 학습시킨 뒤 2차원 영상에서의 관절 좌표 인식, 골격 구축, 자세 추정을 진행한다. 2차원 영상 테스트 데이터를 통해, 3차원 모델을 사전 학습한 인공지능 모델과 기존 2차원 이미지를 사용하여 학습한 인공지능 모델의 자세 추정 정확도를 비교한다.

현대 의료 분야에서의 수술은 높은 수준의 정밀성과 안전성을 요구하는 복잡한 과정으로 인정받고 있다. 그러나 이러한 수술 프로세스에서 발생할 수 있는 방사능 문제는 여전히 중요한 과제로 남아 있다. 환자와 의료진의 안전을 최우선으로 고려할 때, 노출되는 방사능의 양을 최소화하고자 하는 노력은 계속되고 있으나 부가적인 장비 착용 등 부수적 문제가 존재한다. 이를 해결하고자, 본 논문에서는 방사능 노출과 관련된 문제를 해결하기 위한 혁신적인 소프트웨어적 방법을 제안한다. NeRF(Neural Radiance Field)와 새로운 손실함수를 도입하여, 부분 다 시점 2D 디지털화재구성사진(DRR)을 3D CT로 재구성하는 효과적인 방법을 제시한다. 이 방법은 방사능 투과 수식을 모델내에 암시적 학습하는 새로운 접근 방식을 채택한다. 머리, 상복부, 발데이터를 통하여 해당 방법을 정량적, 정성적으로 평가하였다. 해당 논문을 통한 3D 재구성 방법이 의료 분야에서의 안전성과 효율성을 향상시키는 새로운 기술적 해결책으로 기여할 것으로 예상된다.

Surgery in modern medicine is renowned for its meticulous precision and emphasis on safety, requiring intricate procedures. However, ongoing concerns about radiation exposure during these surgical procedures remain a significant challenge. Continued efforts are being made to minimize radiation exposure, primarily focusing on ensuring the safety of patients and medical personnel. However, these efforts face additional hurdles, including wearing additional protective equipment. Given these challenges, this paper presents a pioneering software-based approach to mitigate radiation exposure issues. The proposed methodology introduces the Neural Radiance Field (NeRF) and a novel loss function to facilitate the reconstruction of three-dimensional CT scans from partial multi-view two-dimensional digitally reconstructed radiographs (DRRs). By employing a novel approach that implicitly learns the radiation attenuation equations within the model, this method aims to provide a comprehensive solution. The proposed approach's evaluation includes quantitative and qualitative assessments using head, abdomen, and feet datasets. The 3D reconstruction method outlined in this thesis is anticipated to serve as a transformative technological intervention, promoting improvements in safety protocols and operational efficiencies within the medical field.