Earticle

유비쿼터스 환경에서는 다양한 센서로 부터 원거리에 데이터를 전송해야 하는 문제가 제기되어져 왔다. 특히 서로 다른 위치에서 도착한 데이터를 통합하는 과정에서 데이터의 속성 값들이 상이하거나 데이터에 일부 손실이 있는 데이터들도 처리해야 하는 어려운 문제를 가지고 있었다. 본 논문은 이와 같은 데이터들을 대상으로 집락분석 하는 방법을 제시한다. 이 방법의 핵심은 문제에 적합한 목적함수를 정의하고, 이 목적함수를 최적화 할 수 있는 알고리즘을 개발하는데 있다. 목적함수는 OCS 목적함수를 변형하여 사용한다. 이진 값을 가지는 데이터 만을 처리할 수 있었던 MFA(Mean Field Annealing)을 연속 값을 가지는 분야에도 적용할 수 있도록 확장한다. 그리고 이를 CMFA이라 명하고 최적화 알고리즘으로 사용한다.

In the ubiquitous environment, there has been a problem of transmitting data from various sensors at a long distance. Especially, in the process of integrating data arriving at different locations, data having different property values of data or having some loss in data had to be processed. This paper present a method to analyze such data. The core of this method is to define an objective function suitable for the problem and to develop an algorithm that can optimize this objective function. The objective function is used by modifying the OCS function. MFA (Mean Field Annealing), which was able to process only binary data, is extended to be applicable to fields with continuous values. It is called CMFA and used as an optimization algorithm.

확장된 데이터 표현의 주요 목표는 유비쿼터스 환경에서 일반적인 문제에 적합한 데이터 구조를 개발하는 것이다. 이 방법의 가장 큰 특징은 속성 값을 확률로 표현할 수 있다는 것이다. 다음 특성은 훈련 데이터의 각 이벤트가 중요도를 나타내는 가중치 값을 갖도록 한다는 것이다. 데이터 구조가 개발된 후에 이를 학습할 수 있는 알고리즘이 고안된다. 그 동안 이 알고리즘은 여러 분야에서 여러 문제에 적용하여 좋은 결과를 산출해 왔다. 본 논문은 먼저 데이터 표현 기법인 UChoo를 소개하고 이론적인 배경이 되는 규칙 개선 문제를 소개한다. 그리고 규칙 개선, 손실 데이터 처리, BEWS 문제, 앙상블 시스템과 같은 응용 분야의 예를 소개한다.

The main goal of extended data expression is to develop a data structure suitable for common problems in ubiquitous environments. The greatest feature of this method is that the attribute values can be represented with probability. The next feature is that each event in the training data has a weight value that represents its importance. After this data structure has been developed, an algorithm has been devised that can learn it. In the meantime, this algorithm has been applied to various problems in various fields to obtain good results. This paper first introduces the extended data expression technique, UChoo, and rule refinement method, which are the theoretical basis. Next, this paper introduces some examples of application areas such as rule refinement, missing data processing, BEWS problem, and ensemble system.

구간통행속도는 도로의 교통상황을 나타내는 중요한 지표이며, UTIS(Urban Traffic Information System)는 도로의 구간통행속도를 측정하여 제공하는 대표적인 구간속도 측정시스템이다. 시험운영 결과, 프로브 차량의 미통과, 시스템 H/W 및 S/W 오작동 등의 이유로 UTIS 산출 구간통행속도가 도로의 일부 링크에서 결측되는 현상이 나타나고 있다. 본 논문에서는 이러한 결측구간에 신뢰성 높은 교통정보를 제공하기 위한 구간통행속도 추정 알고리즘을 제안하였다. 제안된 알고리즘을 적용하여 현장실험을 실시한 결과 새로운 알고리즘이 추정한 속도들의 정학도가 93.6%로 분석되었다. 이는 새로운 알고리즘이 결측구간의 속도를 비교적 정확하게 추정하여 구간통행속도 산출 정확도를 높여줌을 나타낸다.

Travel speed is an important parameter for measuring road traffic. UTIS(Urban Traffic Information System) was developed as a mobile detector for measuring link travel speeds in South Korea. After investigation, we founded that UTIS includes some missing data caused by the lack of probe vehicles on road segments, system failures and etc. Imputation is the practice of filling in missing data with estimated values. In this paper, we suggests a new model for imputing missing data to provide accurate link travel speeds to the public. In the field test, new model showed the travel speed measuring accuracy of 93.6%. Therefore, it can be concluded that the proposed model significantly improves travel speed measuring accuracy.

공사기간 예측 모델을 개발하는 과정에서 발생하는 실적 공사기간 자료의 결측값 처리 방법을 비교 분석하고 2가지 대체 모델의 정확성을 평가하는 것을 연구의 목적으로 한다. 인공지능의 도래로 최근 머신러닝 기술이 산업 전반에 도입되며 인공지능을 활용한 예측과 분석 연구가 증가하는 추세에 있다. 하지만 현재 건설업에서는 인공지능을 활용한 공사기간 예측 연구가 부족한 상황이다. 이에 최근 5년간 수집된 실적 공사기간 자료를 분석하고 내재적 모형 하에서의 대체 방법인 핫덱 대체(Hot-Deck Imputation)와 콜드덱 대체(Cold-Deck Imputation) 모델을 비교 분석한다. 이를 기반으로 공사기간 예측 모델의 데이터 결측치 처리 방식을 고찰하는 과정에서 의미 있는 연구 결과를 제시하고자 한다.

The purpose of this research is to compare and analyze the method of processing missing values of performance construction duration data generated in the process of developing a construction duration prediction model and to evaluate the accuracy of the two alternative models. With the advent of artificial intelligence, machine learning technologies have been increasingly introduced various industries, and leading to a rising trend in predictive and analytical research using AI. However, in the current construction industry, the utilization of artificial intelligence in predicting construction project durations is currently lacking. Accordingly, this study analyzes the performance construction duration data collected over the past five years and compare and analyze the Hot-Deck Imputation and Cold-Deck Imputation models, which are alternative methods under the intrinsic model. Based on this analysis, the research aims to provide meaningful research results in the process of examining the data missing value processing method of the construction duration prediction model.

본 연구는 월(Month), 시간(Hour), 휴일(Day off) 여부를 종합한 복합 시간적 요소(Temporal Factors)를 활용하여, 실시간 교통 데이터의 이상치와 결측치를 정밀하게 처리하는 보정 모델을 제안한다. 모델은 이 시간적 요소로 데이터를 그룹화 후 그룹 내 Z-score로 이상치를 탐지하며, 결측치는 시간적 요소 그룹 내 평균 기반 단계적 보간 방식을 결합한 파이프라인을 구성한다. 모델의 성능을 검증하기 위해 인천시 1,569개 도로의 교통량 데이터를 기반으로, 실무에서 널 리 쓰이는 기법들과 비교 평가를 수행했다. 그 결과, 복원 및 예측 정확도 실험 모두에서 제안 모델이 다른 기법 조합들보다 통계적으로 유의미하게 우수한 성능을 보이는 것을 확인했다. 이는 계절성, 일별 주기, 휴일 등 복합적 시간 요소를 반영하는 것이 예측 정확도 향상에 매우 효과적임을 입증하며, 실시간 데이터 전처리를 위한 본 모델의 높은 실용적 가치를 시사한다.

This study proposes an integrated correction method that effectively handles outliers and missing values in real-time traffic data, using data from 1,569 roads in Incheon between 2022 and 2024. The proposed method first removes outliers empirically, then constructs an integrated pipeline by combining "hourly Z-score" with "hourly average imputation." To validate this approach, we assembled 35 models by combining seven outlier-detection techniques and five missing-value imputation methods, including those commonly used in practice. We then conducted experiments involving artificially generated outliers and missing values, as well as performance comparisons using an LSTM prediction model. The results demonstrate that the proposed method outperforms all other combinations in both verification tests. This suggests that a simple, statistically based preprocessing strategy incorporating hourly characteristics is highly effective for improving urban traffic flow forecasts and has significant potential for real-time environments.

원격 관측 자료인 위성 자료는 한계점이 있으며, 특히 광학 관측기를 활용하면 구름이나 기타 요인에 의해 손실 자료가 발생한다. 본 연구에서는 MODerate resolution Imaging Spectrometer(MODIS)의 관측 자료 중, 지표면 온도 자료를 대상으로 손실 자료를 복원하기 위한 방법인 평균 편차 방법, 회귀 분석 방법, 지역 변동 방법의 세 가지 복원 방법을 개발하였다. 검증을 위해 2014년과 2015년의 위성 자료에서 관측 비율을 근거로 사례를 선택하였다. 검증 자료에서 확인된 지역 변동 방법의 평균 제곱근 편차(RMSE) 는 일부 사례에서 약 2 K 이상으로 다른 복원 방법에 비해 낮은 정확도를 보였으며, 회귀 분석 방법의 RMSE는 평균 약 1.13 K으로 대부분의 사례에서 가장 좋은 결과를 보였다. 평균 편차 방법 사용 시, RMSE는 회귀 분석 방법 시와 유사하게 약 1.32 K으로 나타났다.

Satellite data for remote sensing technology has limitations, especially with visible range sensor, cloud and/or other environmental factors cause missing data. In this study, using land surface temperature data from the MODerate resolution Imaging Spectro-radiometer(MODIS), we developed retrieving methods for satellite missing data and developed three methods; mean bias, regression analysis and local variation method. These methods used the previous day data as reference data. In order to validate these methods, we selected a specific measurement ratio using artificial missing data from 2014 to 2015. The local variation method showed low accuracy with root mean square error(RMSE) more than 2 K in some cases, and the regression analysis method showed reliable results in most cases with small RMSE values, 1.13 K, approximately. RMSE with the mean bias method was similar to RMSE with the regression analysis method, 1.32 K, approximately.

본 연구는 현재 운영 중인 자동기상관측장비인 ASOS와 AWS의 결측에 대해 안공신경망을 활용하여 주변 관측값을 기반으로 결측을 보완하기 위한 연구이다. 2011년부터 2015년까지 수집된 서울지역 기온, 습도, 풍속을 대상으로 학습데이터를 구성하고 인공신경망을 통해 학습모델을 구축하였으며, 서울관측소를 결측으로 가정하고 학습모델에 대한 검증을 수행하였다. 학습횟수 증가에 따른 민감도 실험 결과 초기종료는 학습횟수 2,000회에서 나타났다. 관측과 추정치의 상관관계는 모든 기상변수에서 0.6이상이었으며 기온과 습도의 경우 각각 0.9, 0.8 이상의 높은 상관성을 보였다. RMSE는 대부분 기상변수에 대해 학습횟수가 증가함에 따라 꾸준히 감소하지만 풍속의 경우 뚜렷한 증감 경향이 나타나지 않았다. 학습시간은 학습횟수가 증가할수록 지수함수적으로 증가하는 경향을 보였다. 학습횟수 40회의 ANN 성능은 초기종료 시점까지 향상된 결과에 80%이상의 효과를 볼 수 있으며 2초 내의 빠른 학습시간으로 신속한 결측 보완을 통해 보다 상세한 기상정보의 활용이 가능할 것으로 기대된다.

The purpose of this study is to make up for missing of weather informations from ASOS and AWS using artificial neural networks. We collected temperature, relative humidity and wind velocity for August during 5-yr (2011-2015) and sample designed artificial neural networks, assuming the Seoul weather station was missing. The result of sensitivity study on number of epoch shows that early stopping appeared at 2,000 epochs. Correlation between observation and prediction was higher than 0.6, especially temperature and humidity was higher than 0.9, 0.8 respectively. RMSE decreased gradually and training time increased exponentially with respect to increase of number of epochs. The predictability at 40 epoch was more than 80% effect on of improved results by the time the early stopping. It is expected to make it possible to use more detailed weather information via the rapid missing complemented by quick learning time within 2 seconds.

다양한 수질 측정자료가 오염원 추적 및 수질 환경 평가 등에 널리 활용되고 있으며, 이에 따라 현장 모니터링을 통한 수질자료 취득을 위한 노력이 계속되고 있다. 하지만 현장 수질 모니터링의 특성상 센서 오류, 고장 및 강우에 따른 재해 등 다양한 원인에 따른 결측이 발생할 수 있으며 수질 모니터링 결과의 신뢰도 확보를 위한 결측 관리의 중요성이 커지고 있다. 본 연구에서는 현장의 수질 특성을 확인할 수 있는 수질 환경 변수 중 하나인 수온에 대하여 4가지 유형의 결측을 생성하고, 2개의 통계기반 보간 기법인 선형 보간 (Linear)과 다항 보간 (Polynomial) 그리고 2개의 머신러닝 기반 모형인 K-Nearest Neighbors (KNN) 및 autoencoder (AE)를 적용한 총 4개의 보간 모형을 적용하여 성능을 비교하였다. 4개의 결측 유형은 단기 결측 (Case 1), 장기결측 (Case 2), 첨두 구간 전후의 급격한 수질변화 구간의 결측 (Case 3), 첨두 및 저점을 포함한 장기간의 수질변화 구간의 결측 (Case 4)으로 구분되었다. 분석결과 단기 결측이 발생되는 Case 1 및 3에서는 Linear 모형이 RSR 0.26 및 0.76으로 가장 우수한 보간 성능을 보였으며, 장기간의 결측을 포함하는 Case 2이 경우 AE가 RSR 0.63으로 가장 우수한 성능을 보이는 것을 확인하였다. Case 4는 KNN (k=3)의 RSR 이 0.66으로 가장 우수한 성능을 보였으며, AE의 RSR이 0.68로 KNN에 비해 다소 낮은 성능을 보였지만 그 차이는 크지 않았다. 본 연구를 통해 결측 유형에 따라 보간 모형의 성능에 차이가 있음을 확인할 수 있었다.

Various water quality measurements are used to track pollution sources and assess water environments. As such, efforts to collect water quality data through field monitoring continue to expand. However, due to the nature of field monitoring, missing values are often observed as a result of sensor errors, equipment failures, and external factors such as rainfall or disasters. This highlights the growing importance of managing missing data to ensure the reliability of water quality monitoring results. This study generated four types of missing patterns for water temperature, a key indicator of field water quality conditions. Then, four imputation methods were applied. The methods included two traditional statistical approaches (linear interpolation and polynomial interpolation) and two machine learning models (K-nearest neighbors (KNN) and autoencoder (AE)). The four missing data scenarios were defined as follows: short-term missing (Case 1), long-term missing (Case 2), missing around peak values with rapid water quality change (Case 3), and extended missing periods including both peaks and troughs (Case 4). The results showed that the linear model achieved the best performance for Cases 1 and 3, with RSR values of 0.26 and 0.76, respectively. For Case 2, AE achieved the highest performance with an RSR of 0.63. In Case 4, KNN (k=3) showed the best result with an RSR of 0.66, followed closely by AE with an RSR of 0.68. These findings indicate that imputation performance varies depending on the missing data pattern.

통계 모형을 이용한 데이터 분석에서 적절한 결측치 처리가 최종적인 통계적 결론 도출에 결정적인 영향을 미칠 수 있다는 것은 이미 잘 알려져 있다. 따라서 현재까지 다양한 결측치 처리 기법이 제안되어왔고, 그 중 최근 활발히 연구되고 있는 기법으로서 완전정보최대우도(full information maximum likelihood), 다중대체(multiple imputation), 그리고 베이지안(Bayesian) 접근법이 있다. 이 중 완전정보최대우도법은 사회과학 통계에서 가장 많이 사용되는 방법으로서 많은 심리학 연구자들에게도 이미 알려져 있는 방법이나, 다른 두 방법, 즉 다중대체 및 베이지안 접근법은 아직은 많은 심리학 연구자들에게 생소한 방법이다. 따라서 본 논문에서는 이 세 가지 방법을 공분산 구조모형의 맥락에서 소개하고 주요 특징을 비교함으로써 심리학 연구자들의 결측치 처리에 관한 이해를 돕고자 하였다. 공분산구조모형의 적용 과정은 다른 통계모형과 달리 자료와 모형간의 적합도 지수를 계산하고 이를 바탕으로 모형의 적절성을 판단하는 과정을 포함한다. 최대우도법에서는 카이자승 통계량을 기준으로 다양한 적합도 지수가 파생되어 제안되었으며, 다중대체법은 D2와 D3 통계량이, 그리고 베이지안 접근법에서는 사후예측모형검증(posterior predictive model checking) 기법이 사용된다. 최대우도법의 카이자승 통계량은 다양한 맥락에서 독립적으로 연구된 결과가 있으나, 다중대체법 및 베이지안 접근법에서 제안된 방법은 공분산 구조모형의 맥락에서 그 성능이 평가된 적이 없으며 서로 비교된 적도 없다. 따라서, 본 논문에서는 동일한 구조방정식모형의 자료-모형간 적합성 판단에 있어서 세 가지 다른 결측치 처리 방법이 어떤 영향을 미치는지 비교 분석하였다. 구체적으로, 본 논문에서는 모의실험(simulation) 기법을 사용하여, 모집단에서 데이터가 종단적 측정 불변성을 지지하지 않는 경우(longitudinal measurement non-invariance)를 가정하고, 옳은 모형을 사용한 경우의 제 1 종 오류율과 부분측정불변성(partial measurement invariance)을 가정한 모형을 적용한 경우의 검정력을 최대우도, 다중대체, 그리고 베이지안 접근법 별로 추정/비교하였다. 본 연구의 결과는 결측치가 존재하는 데이터를 공분산 구조모형을 이용하여 분석하고자 하는 연구자들에게 결측치 처리 기법의 특성을 이해하고 최종 모형의 적합성을 판단하는데 적절한 지침을 제공할 것으로 기대된다.

In practical applications of any statistical modeling, including structural equation modeling(SEM), virtually every data set contains missing values. It is a well known fact that improper handling of missing data can exert harmful impact on subsequent statistical inferences in a variety of ways to varying degrees. In the context of SEM, the full information maximum likelihood(FIML) has been arguably the most popular method for addressing missing data. Despite of being yet less widely known to majority of applied researchers as flexible alternatives to FIML, multiple imputation (MI) procedures and Bayesian approaches have recently begun to emerge as viable solutions among many applied researchers. An important objective of this article is to introduce these methods to applied researchers in an accessible manner using SEM as the context. Structural equation modeling actually involves the process of proposing, estimating, and evaluating the researcher’s hypothesis that is believed to be underlying and purported in generating the observed data. Therefore, it is essential to evaluate the overall goodness-of-fit of the posited model in any given application. FIML, MI and Bayesian approaches, respectively, yield the chi-square, , , and the posterior predictive modeling checking (PPMC) p-value as statistical tools for the assessment of data-model fit. Another important objective of this article is to study performance of these model evaluation tools in the context of SEM. Further, relative performance of these data-model fit assessment tools is to be evaluated with respect to their Type I error rates and power. The performance of these assessment tools, except the chi-square statistics, has never been evaluated nor been compared within the context of SEM. The initial results provided in the present article is believed to not only enhance the knowledge base regarding the characteristics of these assessment tools under missing data, but also provide an initial guideline for the proper use of these assessment tools in the real-world data analysis especially in the application of SEM with missing data.

UTIS(Urban Traffic Information System)는 프로브차량을 활용하여 도시지역의 구간통행시간 정보를 직접 수집하는 방식으로 타 검지체계에 비해 상대적으로 정확한 링크 속도정보를 산출할 수 있다. 하지만, 현재 UTIS에서는 프로브차 량(Probe Vehicle) 및 노변기지국(RSE)의 부족, 시스템 오류 등 다양한 요인에 의해 링크 속도정보의 수집이 누락되는 결측 구간이 발생되고 있다. 본 연구에서는 보다 정확한 여행시간 정보를 제공하기 위한 방안으로 k-NN 알고리즘을 기 반으로 결측속도 정보를 효율적으로 보정할 수 있는 새로운 보정모형을 제안하였다. 제안 모형은 각 후보개체(이력 시 계열 데이터)의 분포 특성에 따라 최근접이웃 개수를 탄력적으로 조정하는 적응형 k-NN 모형이다. 모형 평가 결과, 제 안 모형이 결측정보를 효과적으로 보정‧처리할 수 있는 동시에 ARIMA 등 타 모형에 비해 보정 오차를 크게 감소시킬 수 있는 것으로 분석되었다. 본 연구에서 제안된 결측 보정 모형은 UTIS 중앙교통정보센터에 직접 적용하여 교통정보 서비스 품질을 향상시키데 활용될 계획이다.

UTIS(Urban Traffic Information System) directly collects link travel time in urban area by using probe vehicles. Therefore it can estimate more accurate link travel speed compared to other traffic detection systems. However, UTIS includes some missing data caused by the lack of probe vehicles and RSEs on road network, system failures, and other factors. In this study, we suggest a new model, based on k-NN algorithm, for imputing missing data to provide more accurate travel time information. New imputation model is an adaptive k-NN which can flexibly adjust the number of nearest neighbors(NN) depending on the distribution of candidate objects. The evaluation result indicates that the new model successfully imputed missing speed data and significantly reduced the imputation error as compared with other models(ARIMA and etc). We have a plan to use the new imputation model improving traffic information service by applying UTIS Central Traffic Information Center.

본 논문에서는 지상강우의 결측치를 추정하는 방법들 중 역거리 가중치법(IDWM), 역지수 가중치법(IEWM), 상관계수가중치법(CCWM), 인공신경망(ANN)기법, 레이더 자료를 이용한 결측치 추정 방법을 비교하여 각각의 적용성을 검토하였다. 임진강 유역을 대상지역으로 하여 각 방법을 적용한 결과, 강우의 결측치 추정에 있어서 기존의 방법 중 상관계수 가중치법(CCWM)과 인공신경망(ANN)기법에 의한 RMSE가 0.46~1.79의 범위를 보였고, 레이더자료를 이용하여 강우의 결측치를 추정한 경우 RMSE가 0.05~2.26의 범위를 보였다. 레이더 강우자료가 지점 강우자료와 달리 강우의 공간상관성을 반영하고 있음을 볼 때, 지점강우 자료를 이용한 결측치 추정 기법보다 레이더자료를 이용한 결측치의 추정기법이 그 적용성에서 우수하다고 판단되어진다.

This paper reviewed application of data-driven method, distance-weighted method(IDWM, IEWM, CCWM, ANN), and radar data method estimated of missing raifall data. To evaluate these methods, statistics was compared using radar and station rainfall data from Imjin-river basin. The range of RMSE values calculated for CCWM, ANN was 1.4 to 1.79mm, and the range of RMSE values estimated data used for radar rainfall data was 0.05 to 2.26mm. Spatial characteristics is considered to Radar rainfall data rather than station rainfall data. Result suggest that estimated data used for radar data can impove estimation of missing raifall data.

본 논문은 불완전한 데이터를 처리하기 위해 본래 규칙개선 문제를 위해 고안되었던 데이터 확장 기법을 사용한다. 이 기법은 사건마다 중요도를 의미하는 가중치를 가질 수 있으며 각 변수를 확률값으로 나타낼 수 있는 특징이 있다. 본 논문에서의 핵심 문제가 손실값과 가장 근사한 확률을 구하여 손실값을 확률로 대치하는 것이므로, 3가지 다른 알고리즘으로 손실값에 대한 확률을 구한 후 이 데이터 구조의 형식으로 저장한다. 그리고 각각의 확률 구조에 대한 평가를 위해 SVM 분류 알고리즘으로 각각의 정보 영역을 분류하는 학습을 한 후, 본래의 정보와 비교하여 얼마나 서로 일치하느냐를 측정한다. 손실값의 대치 확률을 위한 3가지 알고리즘들은 같은 데이터 구조를 사용하고 있으나 접근 방법에서는 서로 다른 특징을 가지고 있어 적용 분야에 따라 다양한 용도로 이용될 수 있기를 기대한다.

This paper uses a data extension technique originally designed for the rule refinement problem to handling incomplete data. This technique is characterized in that each event can have a weight indicating importance, and each variable can be expressed as a probability value. Since the key problem in this paper is to find the probability that is closest to the missing value and replace the missing value with the probability, three different algorithms are used to find the probability for the missing value and then store it in this data structure format. And, after learning to classify each information area with the SVM classification algorithm for evaluation of each probability structure, it compares with the original information and measures how much they match each other. The three algorithms for the imputation probability of the missing value use the same data structure, but have different characteristics in the approach method, so it is expected that it can be used for various purposes depending on the application field.