Earticle

Three-dimensional (3D) medical image segmentation is vital in clinical applications, but faces challenges like computational complexity and spatial context loss in 2D processing. To address these issues, we propose 3DAS2D, which processes 3D images as 2D slices while retaining volumetric data for better accuracy. Our approach integrates modules like Neighbour Attention, Memory Attention, Memory Bank, and Mask Encoder to capture inter-slice dependencies and historical context within a 2D prediction framework. Evaluated on four datasets covering prostate, cardiac, and lung tumour tasks, 3DAS2D performed comparably to 3D methods. This work offers an efficient, adaptable solution bridging 2D efficiency and 3D accuracy, with significant clinical potential.

This paper presents an innovative method for reconstructing 3D models from 2D stereoscopic images captured from the front, back, left, and right sides of an object at 90 - degree horizontal rotations. The proposed process involves several key steps: plant class segmentation using artificial intelligence (AI), disparity and depth mapping from stereo images, point cloud generation, merging multiple point clouds into a single unified point cloud, and mesh application to ensure surface continuity of the 3D model. Recognizing the critical role of accurate segmentation in 3D reconstruction, this study compares two AI segmentation architectures-YOLOv8 and Detectron2-to determine which performs better in terms of segmentation accuracy, training speed, and memory consumption for the plant class. This research focuses on the 3D reconstruction phase of a parent study titled "Investigating Deep Learning for Predicting and Simulating Plant Growth Structures: A Preparatory Effort Towards the Digital Twin Paradigm in Agriculture," whose dataset comprises 2D stereo images of plants that require 3D visualization. Its long-term vision is to develop a user experience that assists farmers in making informed decisions by leveraging predictive models and 3D visualizations of crop growth.

본 논문에서는 복부 CT 영상에서 딥러닝을 이용한 정확하고 빠른 근육 분할 기법을 제안한다. 데이터 세트는 DICOM 태그의 리스케일 슬로프, 인터셉트 정보를 이용해 픽셀 값을 정규화하고 훈련 데이터 세트에는 유사 변환 을 이용해 이미지 증강을 수행했다. 증강된 훈련 데이터 세트에 U-net을 이용해 근육 영역 분할 학습을 수행했다. U-net은 생물의학 이미지 분할을 위해 고안된 fully convolutional networks 기반 모델이다. 분할된 근육 영역 에서 hounsfield unit 범위로 판별된 근육 외의 부분을 제거하여 근육 마스크를 생성한다. 제안된 모델의 정확도는 98%이고, 한 장의 복부 CT 영상에서 근육을 분할하는 데 평균 1초가 소요되었다.

In this paper, we propose an accurate and fast fully automated muscle segmentation technique using deep learning in abdominal CT images. The dataset normalized pixel values using rescale slope, intercept information in the DICOM tag, and image augmentation was performed using similarity transformation in the training dataset. We performed muscle region segmentation learning using U-net on the augmented training dataset. U-net is a fully convolutional networks based model designed for biomedical image segmentation. A muscle mask is generated by removing a portion other than the muscle determined by the hounsfield unit range from the divided muscle region. The accuracy of the proposed model was 98% and it took an average of 1 second to segment the muscles in one abdominal CT image.

복부 CT 영상에서 수동으로 근육을 분할하는 것은 시간이 걸리는 번거로운 작업이었다. 본 논문에서는 U-net을 활용하여 CT 영상에서 근육을 자동 분할하는 방법을 제안한다. U-net은 딥러닝 기반의 다양한 영상 분할에 이용할 수 있는 높은 정확도를 가진 모델이다. 제안된 방법은 복부 CT 영상에 대해 1초 미만의 빠른 속도와 98% 이상(표준편차 3%)의 높은 정확도를 가진 근육 분할 결과를 나타냈다.

본 논문에서는 2D 동영상을 3D 입체영상으로 변환하기 위해서 머신러닝에 의한 학습기반의 객체분할과 객체의 optical flow를 활용하는 방법을 제안한다. 성공적인 3D 변환을 가능하게 하는 객체분할을 위해서, 객체의 칼라 및 텍스쳐 정보는 학습을 통해 반영하고 움직임이 있는 영역 위주로 객체분할을 수행할 수 있도록 optical flow를 도입한 새로운 에너지함수를 설계하도록 한다. 분할된 객체들에 대해 optical flow 크기에 따른 깊이맵을 추출하여 입체영상에 필요한 좌우 영상을 합성하여 생성하도록 한다. 제안한 기법으로 인해 효과적인 객체분할과 깊이맵을 생성하여 2D 동영상에서 3D 입체동영상으로 변환됨을 실험결과들이 보여준다.

In this paper, we propose the algorithm using optical flow and machine learning-based segmentation for the 3D conversion of 2D video. For the segmentation allowing the successful 3D conversion, we design a new energy function, where color/texture features are included through machine learning method and the optical flow is also introduced in order to focus on the regions with the motion. The depth map are then calculated according to the optical flow of segmented regions, and left/right images for the 3D conversion are produced. Experiment on various video shows that the proposed method yields the reliable segmentation result and depth map for the 3D conversion of 2D video.

The corpus callosum is the largest part of the brain, which is related to many neurological diseases. Snake model or active contour model is widely used in medical image processing field, especially image segmentation they look into the nearby edge, localizing them accurately. In this paper, corpus callosum segmentation using the snake model, is proposed. We tested a snake model on brain MRI. Then we compared the result with an active shape approach and found that snake model had better segmentation accuracy also faster than active shape approach.

Hippocampus is an important part of brain which is related with early memory storage and spatial navigation. By observing the anatomy of hippocampus, some brain diseases effecting human memory (e.g. Alzheimer, schizophrenia, etc.) can be diagnosed and predicted earlier. The diagnosis process is highly related with hippocampus segmentation. In this paper, hippocampus segmentation using Active Shape Model, which not only works based on image intensity, but also by using prior knowledge of hippocampus shape and intensity from the training images, is proposed. The results show that ASM is applicable in segmenting hippocampus from whole brain MR image. It also shows that adding more images in the training set results in better accuracy of hippocampus segmentation.

관상동맥 시술을 위해 혈관 조영 X-선 영상은 시술 진단 및 보조에 유용하게 활용된다. 삼차원의 복잡한 구조를 가진 관상동맥을 이차원 X-선 영상에서 기존의 단일기법만을 사용하여 정확히 분할하는 것에 어려움이 있으며, 특히 혈관이 중간에 끊어지거나 말단부위혈관이 유실되는 현상으로부터 오차가 크게 발생하는 경향이 있었다. 이러한 문제를 해결하기 위하여 기존 단일기법으로 초기분할 단계를 거친 후, 초기분할결과를 기반으로 정교한 보정영역을 설정하는 단계, 보정영역을 대상으로 패치기반 지역보정을 수행하는 단계가 수행된다. 본 연구를 통해 끊긴 혈관을 보완한 분할 결과를 구할 수 있을 뿐만 아니라 미세혈관까지 포함하지 못한 참 값의 한계점을 해결할 수 있다. 또한, 존재하는 기존 관상동맥 분할방법들에 융합하여 추가적인 성능개선을 얻어낼 수 있다. 본 논문에서는 Fully convolutional network 기반 깊은 신경망 네트워크인 U-net을 활용하였으며, 제안된 보정방법을 융합하여 기존 U-net 단일 모델 대비 성능이 상당히 개선된다는 것을 실제 여러 환자들의 데이터 셋을 통하여 증명하였다.

For coronary procedures, X-ray angiogram images are useful for diagnosing and assisting procedures. It is challenging to accurately segment a coronary artery using only a single segmentation model in 2D X-ray images due to a complex structure of three-dimensional coronary artery, especially from phenomenon of vessels being broken in the middle or end of coronary artery. In order to solve these problems, the initial segmentation is performed using an existing single model, and the candidate regions for the sophisticate correction is estimated based on the initial segment, and the local patch-based correction is performed in the candidate regions. Through this research, not only the broken coronary arteries are re-connected, but also the distal part of coronary artery that is very thin is additionally correctly found. Further, the performance can be much improved by combining the proposed correction method with any existing coronary artery segmentation method. In this paper, the U-net, a fully convolutional network was chosen as a segmentation method and the proposed correction method was combined with U-net to demonstrate a significant improvement in performance through X-ray images from several patients.

본 논문은 점진적으로 변형되는 다수의 가상 헤어스타일을 반자동적으로 생성할 수 있는 2D 가상 헤어스타일의 컬러 영상 분할 및 반자동 필드 모핑에 관한 것이다. 제안된 방법에서는 2D 실사 영상에서 컬러 영상 분할을 통해 추출한 헤어스타일을 임의의 인물 영상의 두상에 정렬시킨 상태에서 원래의 헤어스타일에서 추출한 헤어스타일로 변해가는 반자동 필드 모핑을 수행함으로써 여러 유형의 헤어스타일을 반자동적으로 생성할 수 있다. 제안된 방법은 사전에 준비된 그래픽 객체 외에도 실사 영상에서 직접 추출한 헤어스타일을 사용할 수 있고, 추출한 헤어스타일 외에도 다양한 유형의 헤어스타일을 자동으로 생성할 수 있는 이점이 있다. 또한, 반자동 필드 모핑에 기반한 편리한 사용자 인터페이스를 제공할 수 있기 때문에 작업자의 피로도를 경감시킴과 동시에 작업 시간을 단축할 수 있고 비숙련자도 간단한 사용자 입력을 통해 자연스러운 가상 헤어스타일을 생성할 수 있는 장점이 있다.

본 논문은 2D 가상 착의 시스템의 컬러 영상 분할 및 직물 텍스쳐 매핑에 관한 것이다. 제안된 시스템은 컬러 영상 분할에 의해 2D 의류 모델 영상으로부터 분할된 의류 형상 영역에, 명도 차분 맵에 기반하여 사용자가 선택한 새로운 직물 패턴을 가상적으로 착용시킬 수 있는 것이 특징이다. 제안된 시스템은 모델 의류의 색이나 명도에 상관없이, 선택된 의류 형상 영역의 음영 및 조명 특성을 유지하면서 직물 패턴이나 직물 색을 가상적으로 변경시킬 수 있다. 또한 각기 다른 스타일 혹은 전체적인 차림새를 위한 다양한 직물 패턴 조합을 신속하고 용이하게 시뮬레이션하고 비교 선택할 수 있다. 제안된 시스템은 다양한 디지털 환경에서 실시간 처리가 가능하고 비교적 자연스럽고 사실적인 가상 착의 스타일을 제공할 뿐만 아니라 수작업을 최소한으로 줄인 반자동화 처리가 가능하기 때문에 높은 실용성과 편리한 사용자 인터페이스를 제공할 수 있다. 제안된 시스템에 따르면, 실제 의복을 제작하지 않고도 직물 패턴 디자인이 의복의 외관에 미치는 영향을 시뮬레이션할 수 있으므로 직물 디자이너의 창작활동을 도와줄 수 있고, 또한 구매자의 의사결정을 지원해 B2B 또는 B2C 전자상거래 행위를 촉진할 수 있다.

This paper is related to color image segmentation and textile texture mapping for the 2D virtual wearing system. The proposed system is characterized as virtually wearing a new textile pattern selected by user to the clothing shape section, based on its intensity difference map, segmented from a 2D clothes model image using color image segmentation technique. Regardless of color or intensity of model clothes, the proposed system is possible to virtually change the textile pattern or color with holding the illumination and shading properties of the selected clothing shape section, and also to quickly and easily simulate, compare, and select multiple textile pattern combinations for individual styles or entire outfits. The proposed system can provide higher practicality and easy-to-use interface, as it makes real-time processing possible in various digital environment, and creates comparatively natural and realistic virtual wearing styles, and also makes semi-automatic processing possible to reduce the manual works to a minimum. According to the proposed system, it can motivate the creative activity of the designers with simulation results on the effect of textile pattern design on the appearance of clothes without manufacturing physical clothes and, as it can help the purchasers for decision-making with them, promote B2B or B2C e-commerce.