Earticle

MR(Mixed Reality) technology is a core technology of the 4소 industrial revolution, recognized as a technology that will create new value through convergence with other fields such as IoT, and its application method in industrial sites such as manufacturing sites is being studied. In this paper, we implement a service that can be used for applications such as central control center by transmitting the input value of the hololens2 camera to the server and introduces the method

챗봇은 학술적인 분야에 국한되지 않고 다양한 분야에서 연구되고 사용되고 있다. 그럼에도 불구하고 대부분의 챗봇은 성격이 일관적이지 않다는 문제점이 있었다. 본 연구는 해당 문제를 해결하고자 새로운 전처리 방식과 학습 방법론을 제안한다. 제안된 방법론의 효용성을 검증하기 위해서 PERSONA-CHAT 데이터셋 중 validation 데이터셋으로 성능을 비교하는 실험을 진행하였고, 같은 데이터셋을 활용한 다른 모델에 비해 Perplexity의 지표에서 가장 높은 성능을 달성했다.

In this paper, we introduce a relative positioning system that allows device-to-device positioning without pre-installed infrastructure by fusion of UWB and VIO technology installed in augmented reality technology. For effective and reliable relative positioning syste, we propose adaptive UWB ranging scheme for reducing communication overhead and enhancing robustness against NLOS environment. The system was implemented and analyzed through an experiment using a commercial mobile device and DW1001 by Decawave.

도시 내에서 발생한 화재와 같은 재난은 도시 내 광범위한 지역에서 다수의 인명, 경제적 피해를 야기한다. 이러한 피해를 최소화하기 위하여 강화학습을 활용한 효과적인 재난 대응 팀의 배치 방안이 주로 연구되었으나, 기존 방안은 재난 대응팀의 관할 지역의 크기가 증가될 때 효과적인 재난 대응을 기대하기 어렵다. 따라서, 본 연구팀은 대규모의 재난 상황에서 기존 강화학습 기반 대응팀 배치 방식의 문제를 해결하기 위해 상충되는 목표들 간의 가중치를 조절하는 새로운 강화학습 기법과 각 대응 목표들의 정의를 화재 재난 상황을 기반으로 설계하고 제안한다.

증강현실이란 물리적 현실세계 위에 가상 객체를 합성하는 기술이며 산업현장을 주 타겟으로 확대되고 있다. 산업 AR에서는 AR 장비가 장비들을 추적하는 트래킹 기술이 필수로 구현되어야 하는데 현재에는 장비의 제한된 컴퓨팅 파워로 인해 인공지능 기반의 고성능 트래킹 기술은 제한된 실정이다. 이를 극복하기 위하여 클라우드에 인공지능 플랫폼을 구현하는 방안이 제안되어 오고 있다. 본 논문에서는 산업 AR에서의 트래킹 기술을 위한 인공지능 플랫폼의 구조를 소개하고 구현 내용과 결과를 소개한다.

Deep learning research to analyze industrial time-series data has been an active research topic. Recent studies have attempted to borrow the models for natural language processing(NLP) to handle time dependency issues. However, industrial data have different properties compared with NLP data: strongly dependent on a time axis. Moreover, because industrial information is continuously accumulating while the machine is running, it has a much longer sequence than other sequential data. In this study, we compare the performance of widely used natural language models, LSTM and Transformer, on such long-time series industrial data. For comparison, we performed experiments to detect an attack on a water treatment management system and to predict traffic flow on a highway. We confirmed that the Transformer using the attention mechanism showed better performance than the LSTM.

In recent years, virtual reality contents are increasingly using data gloves instead of dedicated controllers. From the contents using this, the GUI elements of the existing virtual reality contents are borrowed, or the UI is implemented by directly manipulating objects such as buttons or levers. This is familiar to users of existing systems, but has disadvantages such as obscuring the view due to objects. However, when using a data glove, you can also use a method of implementing a UI by making a gesture with your hand. Among them, gestures that take a specific shape with a finger may have different meanings depending on the position of the hand even if they have the same shape. In this paper, we propose a method to classify gestures using the head position.

머신러닝 모델을 엣지 디바이스에 안정적으로 배포하기 위해서 기존 클라우드 기반의 머신 러닝 모델 배포는 높은 지연 시간으로 인해 머신 러닝 서비스의 질을 떨어트리는 문제를 야기한다. 또한, 추론을 위한 입력 데이터의 전송 과정은 개인 정보의 유출을 야기한다. 이러한 문제를 해결하기 위해서 개인 정보 유출 및 통신 부하 문제를 해결할 수 있는 엣지 서버 및 엣지 디바이스를 활용한 추론 과정의 정의가 요구된다. 본 연구팀은 효과적인 추론 과정의 정의를 위해 기존 분산 딥러닝의 모델 및 데이터 병렬화 파이프라인 기법에 기반하는 단일 추론 모델에 대한 엣지 서버-디바이스 간 모델 분할 기법 및 엣지에서 요청되는 독립된 다중 작업들에 대한 효과적인 스케쥴링 기법을 제안한다.

본 논문은 재난 환경에 적합한 경량화된 UWB 측위에 대한 연구를 소개한다. UWB는 디바이스간 정 밀한 거리 측정 기능을 제공하여 고정밀 측위에 활용된다. 하지만 재난 환경과 같이 무선 채널이 복잡 한 경우, UWB 측위 성능이 급격히 하락하는 문제가 발생한다. 최근 UWB 신호에 딥러닝 기술을 이용 하여 성능 하락 문제를 해결하는 연구들이 제안된다. 하지만 딥러닝 기술은 고성능 컴퓨팅 자원을 요 구하여 자원 제약이 있는 재난 상황에서 활용되기 어렵다. 본 논문에서는 XAI 기술을 적용하여 딥러 닝 기술의 높은 정확도를 유지하면서 동시에 연산 복잡도를 낮추기 위한 XLNet을 제안한다.

가상현실(Virtual Reality)에서 사용자들을 이해하고 사용자 경험을 높일 수 있는 방법을 도출하기 위해 VR사용 중에 수집되는 센서 데이터 활용을 통한 연구가 활발히 진행 중이다. 특히 센서 데이터의 종류에 따라 설명할 수 있는 VR사용자의 특징이나 상황이 다르기 때문에, 다양한 역할을 할 수 있는 센서 데이터의 수집과 분석을 통한 연구가 필요하다. 하지만 많은 선행 연구에서는 이에 대한 고려가 부족한 것으로 파악된다. 본 논문에서는 VR센서 데이터 관리 파이프라인(VR sensor data handling pipeline)을 지원하는 통합시스템인 Virtual Reality Data Analysis Tool (V-DAT)을 소개한다. V-DAT은 센서와 실시간 통신을 기반으로 시각, 음성, 생체신호, 몸움직임 데이터를 수집 및 분석하고 데이터의 특성에 따른 시각화를 VR 영상과 동기화하여 제공한다. 우리는 V-DAT 구축 과정 및 분석 기능에 대해서 설명한다.

Edge computing is a promising technique for processing real time data that is required in various fields such as smart cities, autonomous driving and connected cars. In general, edge computing has limited resources in comparison with the central cloud. It is a greater disadvantage for the embedded systems if the nodes in the edge cluster has no sufficient resources to process the requests. In this paper we propose a service offloading technique which solves the problem of resource inefficiency in Kubernetes based edge environment. The proposed method monitors the capacity of the edge nodes and performs service offloading if necessary. The preliminary experiment is performed to monitor the resource usage by an edge node. In addition, the proposed method aims to reduce the idle time and waiting time of the requests during offloading which inturn reduces the total latency duration.

디지털 트랜스포메이션에 있어서 모델링 및 시뮬레이션 분야도 더 이상 예외는 아니다. 이미 많은 유수의 선진 기업 및 연구기관들이 클라우드를 도입하여 이러한 분야에서 다양한 비지니스 혁신을 이루어 내고 있다. 본 논문에서는 AWS 클라우드를 CAE/CAD 도입할 경우 얻을 수 있는 여러가지 장점에 대해 고찰해 보았다.

다크 웹은 일반 브라우저(Chrome, FireFox 등)를 통해 접근할 수 없고, 특정 브라우저(Tor)를 이용하여 최소 3개의 익명 노드를 거쳐 접근하는 익명성이 보장된 웹 사이트이다. 익명성의 보장으로 다크 웹 내에서는 마약, 총기 거래 등 다양한 범죄가 발생하고 있다. 다크 웹 내에서 발생하는 범죄의 이해를 높이려면 해당 서비스에서 제공하는 콘텐츠(이미지, 비디오 등)에 대한 포괄적인 정보 수집 및 보관이 필요하다. 또, 이를 일반 브라우저에서 확인할 수 있게 한다면 다크 웹의 실상에 다수가 보다 쉽게 접근할 수 있다. 이를 위해 본 연구에서는 다크 웹 불법 서비스의 당시 페이지를 일반 브라우저에서 렌더링 할 수 있는 형태로 저장하는 컨테이너 기반 다크 웹 스캐너를 제안한다. 다크 웹 접속에 필요한 토르(Tor) Proxy 컨테이너를 다중 생성하고, 다수의 다크 웹 내 HTTP 요청을 병렬 처리하여 속도 성능을 개선했다. 제안한 방법과 토르(Tor) 브라우저를 통한 렌더링 속도를 비교 실험하였고, 제안한 방법이 토르(Tor) 브라우저 렌더링 속도에 비해 약 2배 빠름을 확인했다. 또한, 일반 브라우저에서 다크 웹 접속 없이 해당 서비스와 동일하게 렌더링 할 수 있음을 확인했다.

클라우드 뿐 아니라 모바일 기기들이 함께 학습과 추론을 위한 연산들을 나누어 수행하고 이를 다시 종합하는 distributed learning은 주목 받고 있는 learning 기법들 중 한 형태이다. 이러한 형태의 learning의 경우, 모바일 기기들을 활용하여 학습하고 추론 연산을 수행할 때, 응용의 성능뿐 아니라 통신 상황과 모바일 기기들에서 소모되는 전력을 고려하는 것은 매우 중요하다. 따라서 본 논문에서는 엣지 클라우드와 연결된 멀티 홉 기반의 네트워크에서 distributed learning을 수행할 때, 통신 상황과 소모 전력 관점에서 학습 및 추론 연산 분배에 따른 주요 case들에 대한 분석을 수행한다.

본 논문에서는 추가적인 데이터의 수집 없이 STS(Semantic Textual Similarity) task에서 multiple loss와 label smoothing 기법을 활용하여 성능을 향상시키는 방법을 제안한다. 기존의 모델들은 3-way softmax loss또는 cosine-similarity with MSE loss를 활용하여 STS task에 대한 손실 함숫값으로 계산하기 때문에, 사전 훈련된 언어 모델의 Word Contextual Embedding Vector가 좋지 않은 방향으로 변할 수 있는 문제점이 있다. 따라서 softmax loss에 label Smoothing 기법을 활용하여 유사한 문장끼리 클러스터링이 되도록 학습을 하였으며, 사전 언어 모델 중의 하나인 GPT(Generative Pre-training)에서 사전 훈련을 할 때 이용했던 loss 계산 방식에서 아이디어를 얻어 새로운 loss를 제안하는 모델에 결합하여 활용하였다. 이 2가지 접근 방식은 fine-tuning시에 활용하여 성능을 향상시킨다. 사전 훈련에는 Multi-genre Natural Language Inference, Stanford Natural Language Inference 데이터를 이용하였으며, 모델을 평가하기 위한 데이터로는 Semantic Textual Similarity benchmark를 이용하였다. 평균적으로 1.24% 정도의 성능 향상을 보였으며, Spearman’s rank에서는 최대 4.67%, Pearson correlation coefficient에서는 최대 5.64%의 성능 향상을 보였다.

본 논문에서는 번역 생성기 (translation generator)와 문장 판별기 (sentence discriminator) 기반의 문장 데이터 증강 방법을 제안한다. 번역 생성기는 다른 언어로의 반복 번역을 통해 원본 문장과 비슷한 의미를 가진 변형문장을 생성하여 데이터의 수를 늘린다. 하지만 이러한 방식으로 생성된 문장의 일부는 학습에 방해가 된다. 이에 문장 판별기는 학습에 방해되는 문장을 판별하기 위하여 Convolutional Neural Network (CNN)와 Bidirectional Long Short-Term Memory (Bi-LSTM)를 병렬로 병합한 딥러닝 모델로 원본문장을 학습하고 변형문장 중에서 학습에 방해되는 문장을 판별하고 제거하여 데이터 증강 문장을 출력한다. 본 논문의 데이터 증강 방법으로 데이터를 증강한 후 5가지의 딥러닝 모델로 테스트를 진행한 결과, 데이터의 크기에 따라 최대 9.28%의 성능 향상을 보였다.

In recent times, Edge computing technology is rapidly growing at a faster rate offering users a better performance for processing real-time applications in comparison with the traditional cloud computations. In the edge computing model, there are edge nodes grouped together, forming edge clusters for application services. The development of service migration technology in the Kubernetes environment complements the reliability and stability of the edge cloud management during the migration process. It automatically replicates the data changes on the edge server, and ultimately, there is no data loss or service failure, ensuring that the system is fully operational. In this paper, the proposed method of migration aims to provide uninterrupted service operation between the edge nodes in the event of a service failure. The preliminary experimental result performs the health check of containers in the pod which is used to identify the cause of service failure.

In this study, we develop a time series based solar power failure determination algorithm that predicts its own generation amount by sharing power generation information with neighboring sites without relying on meteorological data of the Meteorological Agency and compares it with the power generation amount obtained in real time to determine the presence or absence of a failure. For the implementation of the algorithm, we design a prediction model based on deep learning using LSTM function and implement a model that predicts the amount of solar power that changes in real time. After the development of LSTM model, the RMSE was 93.85 as a result of preliminary test by comparing the predicted and the measured photovoltaic power generation. As the data learning process progresses and as the optimization process is continued, the prediction performance is expected to be further improved.

최근 공유 경제와 함께 다양한 공유 서비스 성장하고 있으며 COVID-19 발생 이후 대중교통 대신 Personal mobility 를 선호하는 사람들이 증가하였고 사용률이 급격히 증가하며 보급률도 급성장하였다. 이에 따라 공유 Personal mobility 사용이 크게 증가하였지만 COVID-19 대유행 시 외출 감소에 따른 사용률 감소 영향도 있을 것이다. 본 논문은 서울특별시 공유 자전거의 사용률을 바탕으로 야외활동 주요 요인 중 하나인 기온을 반영하여 머신러닝 회귀분석기를 사용, COVID-19 발생과 일일 추가 확진자 수의 영향을 통해 감염병에 따른 Personal mobility 사용률에 대해 알아보고 분석한다.

본 논문에서는 U-SegNet 을 화재 모듈 및 잔류 컨볼루션과 통합하여 자기 공명 영상(MRI)으로 뇌 조직을 분할하여 U-SegNet 모델을 개선한다. 제안된 인코더-디코더 방법에서, 잔류 연결뿐만 아니라 화재 모듈의 압착 및 확장 컨볼루션 레이어는 뇌 MRI 분할을 위한 더 가볍고 더 효율적인 아키텍처로 이어진다. 잔류 단위는 심층 아키텍처의 원활한 훈련에 도움이 되며, 잔류 컨볼루션 계층에서 얻은 특징은 분할 네트워크에서 더 나은 특징 표현을 보장한다. 또한 더 적은 수의 네트워크 매개 변수로 설계를 보다 효율적으로 만들고 뇌MRI 에 더 나은 분할 정확도를 제공한다. 제안된 아키텍처는 뇌 조직 분할을 위해 공개적으로 이용 가능한 OASIS 데이터 세트에서 평가된다. 제안된 방법의 실험 결과는 주사위 유사도 계수(DSC) 점수가 0.96 이고 자카드 지수(JI)가 0.92 인 뇌 MRI 분할에 대한 기존 방법보다 우수한 성능을 보여준다.

In this paper, we propose an improved U-SegNet model by integrating U-SegNet with fire modules and residual convolutions to segment brain tissues in a magnetic resonance image (MRI). In the proposed encoder-decoder method, the residual connections, as well as squeeze, and expand convolutional layers from the fire module, lead to lighter and more efficient architecture for brain MRI segmentation. The residual unit helps in the smooth training of the deep architecture, and features obtained from residual convolutional layers ensure better feature representation in the segmentation network. It also makes the design more efficient architecture with a fewer number of network parameters and provides better segmentation accuracy for brain MRI. The proposed architecture is evaluated on a publicly available OASIS dataset for brain tissue segmentation. The experimental results of the proposed method exhibit superior performances to conventionalmethods on brain MRI segmentation with a dice similarity coefficient (DSC) score of 0.96 and Jaccard index (JI) of 0.92.

딥러닝은 비선형 데이터를 다룰 수 있으면서, 내부적인 특성들과 연관 관계 등을 학습할 수 있다는 점에서 많은 분야에서 쓰이고 있다. 딥러닝이 비선형 데이터를 다루는 것이 가능한 이유는 활성화 함수가 사용되기 때문이다. 활성화 함수로는 비선형 함수를 이용하여 입력과 결과가 비선형성을 띌 수 있게 된다. 그런데 활성화 함수의 종류는 다양하며 각각 특성이 다르다. 따라서 어떤 활성화 함수가 사용이 되는지에 따라 결과의 차이가 발생할 수 있다. 본 연구에서는 활성화 함수의 차이가 딥러닝 학습에서 영향을 미치는 지에 대해 알아보고자 한다. 먼저 딥러닝 모델 중 하나인 GAN을 세포의 유전자 데이터를 이용하여 여러 모델 학습을 시킨다. 그 과정에서 각 GAN 모델의 생성자와 식별자는 다른 모델의 활성화 함수와 다른 조합으로 학습된다. 그 후 서로 다른 활성화 함수 조합으로 학습된 GAN의 생성자를 통해 가짜 데이터를 생성한다. 최종적으로 각 모델이 만들어 낸 가짜 데이터와 실제 데이터와의 상관 분석을 통해서 생성된 모델 간의 성능을 비교하여, 활성화 함수의 차이가 딥러닝 학습에 영향을 미치는 지 확인한다.

Collaborative filtering is a representative technique of a recommendation system. Collaborative filtering is a method of determining a recommendation target based on similarity between users or items. Distributed parallel collaborative filtering was proposed to speed up the computational speed of collaborative filtering. However, the data skewness problem caused by imbalanced data distribution still remains. Therefore, in this study, we proposed a data distribution and processing method based on the user taste repertoire analysis method to solve the data skewness problem caused by data distribution imbalance. So, the repertorie analysis is to analyze the range and number of areas of the services previously used by the users. In the proposed method, data is distributed based on the results of the repertorie analysis of the services previously used by the users. Our experiment distributing data of users based on the results of the repertoire analysis. It was shown that the performance was sufficiently usable as measuring RMSE and execution time.

정보통신기술의 발달 및 이용 증가로 인해 우편 사업의 매출 비중이 감소하고 경영수지 적자를 기록하고 있다. 이에 대한 개선 방법 중 미래의 우편 물량을 예측하고 해당 결과를 통해 미리 대비하는 효율적인 운영 방법을 제시한다. 본 논문은 특정 지역에서 발생할 우편 물량을 예측하는 방법으로 GAN(Generative Adversarial Network)을 이용한 데이터 증폭 기술과 딥러닝 기반 우편 물량 예측 기술을 통합한 지능형 우편 물량 예측 기술을 제시한다.

Most proximity detection techniques exploit the received signal strength (RSS) measurements to detect the target object. Bluetooth low energy (BLE) beacons have been widely used in proximity detection. In the detection process, beacons broadcast signals over advertising events, and a user detects the RSS of signals. However, there are many limitations in this process. At first, the packet size in each advertising event is very small, so it is difficult for a user to get detailed information about the target object. Second, only three channels can be used by an advertising event, so a signal collision will be serious when many beacons are present. To overcome this problem, a periodic advertising event is proposed in BLE specification 5.2, which uses more channels and increases the transmission throughput. Therefore, in this paper, we propose a proximity detection scheme with periodic advertising events (PDPA). The simulation results show the proposed scheme improves the detection performance effectively in terms of collision probability.

본 논문은 2차원 공간을 움직이는 로봇의 제어 시스템에 대한 강화 학습(Reinforcement Learning) 기반 연구 내용을 서술한다. 강화 학습은 인공지능 연구의 한 갈래로써, 로봇 등의 제어 시스템 구축에 높은 활용성을 갖는다. 본 논문에서는 현실적인 환경에서 경량화된 로봇이 수집할 수 있는 제한된 센싱 정보를 바탕으로 로봇이 특정 위치에 도달하는 시나리오를 정의하고, REINFORCE 알고리즘에 기반한 학습 시스템을 제안한다. 구현을 통한 학습 수행 및 시뮬레이션 결과를 통해 인공신경망이 학습되는 과정을 보이고, 실질적인 상황에서 활용할 수 있는 인공지능 기반 로봇 제어 시스템의 방향성을 제시한다.

자기장 신호는 BLE나 Wi-Fi와 같은 RF 신호와 달리 벽, 가구 등의 실내 구조로 인해 다중 경로 전파, 회절 및 산란 등이 발생하지 않아 신호가 안정적이기 때문에 높은 측위 성능의 기반이 될 수 있다. RF는 여러 AP를 이용해 한 곳에서 여러 신호를 측정할 수 있는 것과 달리 실내에서 측정되는 자기장 신호는 하나로 유사한 신호가 같은 실내 공간에 여럿 존재하는 문제를 보완할 필요가 있다. 반면, 사용자의 이동이 계속됨에 따라 자기장 신호는 고유 시퀀스를 가지게 된다. 따라서 우리는 자기장 데이터의 시간에 따라 변하는 시퀀스를 인식하는 데 효과적인 Long Short-Term Memory이라 불리는 심층 신경 네트워크 모델을 사용하여 사용자의 이동 경로를 추적한다. 또한, 실제 사용자의 이동에 따라 발생할 수 있는 상황들을 반영하기 위해 학습 데이터를 생성하는 과정에서 걸음길이 및 자기장 데이터 노이즈에 랜덤성을 반영하였다. LSTM 모델의 평가를 위해 약 94m x 26m의 testbed에서 테스트를 진행하였다. 랜덤성 없이 학습한 모델은 랜덤성이 반영된 데이터셋에 대하여 테스트 하였을 때, 2.74 미터의 평균 측위 오차를 보인 반면, 랜덤성을 반영하여 학습한 모델은 1.49 미터의 평균 위치 오차를 달성 할 수 있었다.

본 논문에서는 객체 중심 증강 기법을 사용한 임베딩 유사성 기반 군중 이상 탐지 기법을 제안한다. 우선 모든 비디오 프레임의 영역별 픽셀값에 대해 평균을 구해 사람과 같은 객체가 나타나지 않는 배경 장면을 구성한다. 그 후 입력 이미지에서 이전에 구한 배경 장면의 픽셀 차이를 계산해서 객체만 포함된 이미지를 생성한다. 그런 다음 생성된 이미지에 대해 본 논문에서 제안하는 데이터 증강 기술을 적용하여 이미지의 가능한 모든 공간에 여러 객체가 존재할 수 있도록 이미지를 구성한다. 그런 다음 사전 훈련된 합성 곱 신경망(CNN)을 사용하여 CNN의 서로 다른 레이어로부터 임베딩 벡터를 추출한다. 그 후, 임베딩 벡터의 다변량 가우스 분포를 계산하여 정상 클래스에 대한 확률 파라미터인 평균과 분산값을 얻는다. 그 이후 정상 클래스를 나타내는 참조 벡터와 테스트 이미지에서부터 추출한 임베딩 벡터 사이의 거리를 계산하여 이상 영역이 감지된다. UCSD 데이터 셋을 사용하여 실험한 결과 우리가 제안한 방법이 다른 임베딩 유사성 기반 방법보다 이상 영역을 더 잘 감지할 수 있음을 보여준다. 실험 결과로부터 우리는 움직이는 객체가 있는 이미지가 포함된 데이터 셋에 대해서는 이미지 분포를 모델링 하는 데 있어서 객체 중심 증강 기법이 필수라는 것을 확인하였다.

Real-time emotion recognition technology is required for human-robot interaction. There is a method using the Somatic Nervous System (SNS). The PPG signal, which is easy to acquire data and can be used by dividing it into pulse units, is easy for real-time emotion recognition. However, each pulse label is the most important factor in segmenting and using the short-term 1-second to 3-second PPG signal. However, DEAP and MAHNOB-HCI are public bio-signal data, but DEAP Dataset only provides Self-Assessment Labeling for emotion-inducing videos of 60 seconds. The MAHNOB-HCI Database provides Annotation Labeling in which the observer sees the frontal image of the subject's face and measures emotion in real-time. Annotation labeling is effective to split the labels of PPG signals by pulse units. As a result of the experiment, Arousalbased positives 2415/neutral 3884/negative 4201, Valence-based positives 3570/neutral 2835/negative 4095.labels were drived. Annotation labeling allows us to check the emotions of participants in various distributions for 60 seconds. Analyzing the label setting and data preprocessing process contributes to improving short-term real-time emotion recognition.

In this paper, a deep learning based fusion technique is presented for the visible and infrared image fusion. In general, the image fusion process is composed of three stages: feature extraction by an encoder, feature fusion, and the reconstruction of the fused image by a decoder. We propose a feature fusion scheme that gives spatially adaptive weights to each infrared and visible pair in the fusion process. Features of the infrared image are used to determine the weights based on the observation that only the high activation region in IR contains the salient information. We conduct both quantitative and qualitative analysis on two datasets. Experimental results show that our fusion method achieves better performance than the previous method.

본 논문에서는 심리진단을 위한 그림검사(Drawing Test) 과정에서 미술치료사의 객관적인 의사결정을 지원하기 위한 이미지 분류 모델인 VQ-ViT(Vector Quantization-Vision Transformer)을 제안한다. 사전학습을 위해 대규모의 레이블링 데이터셋이 필요한 기존의 이미지 분류 모델(e.g., Resnet, Vision Transformer)에 비해 VQ-ViT는 레이블링되지 않은 데이터에 대하여 비지도학습으로 임베딩을 진행한다. 우리는 CIFAR-10, TU-Berlin 그리고 직접 수집한 빗 속의 사람 그림 검사(PITR, Person-In-The-Rain) 데이터셋에 대하여 VQ-ViT와 기존의 이미지 분류 모델들과의 성능 비교실험을 진행하였다. 그 결과 VQ-ViT는 비지도 학습의 이미지 임베딩 기법과 적은 파라미터 수로 그림검사 분야에서의 발전 가능성을 보였다. 이를 기반으로 우리는 딥러닝 기반의 이미지 분류 모델의 한계점 파악 및 발전 방향을 논의한다.