Earticle

현재 위치 Home 검색결과

결과 내 검색

발행연도

-

학문분야

자료유형

간행물

검색결과

검색조건
검색결과 : 64
No
1

결정트리를 이용하는 불완전한 데이터 처리기법 KCI 등재

이종찬

한국융합학회 한국융합학회논문지 제12권 제8호 2021.08 pp.39-45

※ 기관로그인 시 무료 이용이 가능합니다.

4,000원

본 논문은 손실값을 포함하는 불완전한 데이터를 처리하는 방법에 대해 논한다. 손실값을 최적으로 처리한다는 것은 학습 데이터가 가지고 있는 정보들에서 본래값과 가장 근사한 추정치를 구하고, 이 값으로 손실값을 대치하는 것 이다. 이것을 실현하기 위한 방안으로 분류기가 정보를 분류하는 과정에서 완성되어가는 결정트리를 이용한다. 다시말 해 이 결정트리는 전체 학습 데이터 중에서 손실값을 포함하지 않는 완전한 정보만을 C4.5 분류기에 입력하여 학습하 는 과정에서 얻어진다. 이 결정트리의 노드들은 분류 변수의 정보를 가지는데, 루트에 가까운 상위 노드일수록 많은 정보를 포함하게 되고 말단 노드에서는 루트로부터의 경로를 통해 분류 영역을 형성하게 된다. 또한 각 영역에는 분류 된 데이터 사건들의 평균이 기록된다. 손실값을 포함하는 사건들은 이러한 결정트리에 입력되어 각 노드의 정보에 따라 순회과정을 통해 사건과 가장 근접한 영역을 찾아가게 된다. 이 영역에 기록된 평균값을 손실값의 추정치로 간주하고, 보상 과정은 완성된다.

This paper discusses how to handle incomplete data including missing values. Optimally processing the missing value means obtaining an estimate that is the closest to the original value from the information contained in the training data, and replacing the missing value with this value. The way to achieve this is to use a decision tree that is completed in the process of classifying information by the classifier. In other words, this decision tree is obtained in the process of learning by inputting only complete information that does not include loss values among all training data into the C4.5 classifier. The nodes of this decision tree have classification variable information, and the higher node closer to the root contains more information, and the leaf node forms a classification region through a path from the root. In addition, the average of classified data events is recorded in each region. Events including the missing value are input to this decision tree, and the region closest to the event is searched through a traversal process according to the information of each node. The average value recorded in this area is regarded as an estimate of the missing value, and the compensation process is completed.

2

SVM과 딥러닝에서 불완전한 데이터를 처리하기 위한 알고리즘 KCI 등재

이종찬

한국융합학회 한국융합학회논문지 제11권 제3호 2020.03 pp.1-7

※ 기관로그인 시 무료 이용이 가능합니다.

4,000원

본 논문은 불완전한 데이터를 처리하기 위해 2가지의 서로 다른 기법과 이를 학습하는 알고리즘을 소개한다. 첫째방법은 손실변수가 가질 수 있는 균등한 확률로 손실값을 할당하여 불완전한 데이터를 처리하고, SVM 알고리즘으 로 이 데이터를 학습하는 것이다. 이 기법은 임의의 변수에 손실 값의 빈도가 높을수록 엔트로피가 높도록 하여 이 변수 가 결정트리에서 선택되지 않도록 하는 것이다. 이 방법은 손실 변수에 남아있는 정보를 모두 무시하고 새로운 값을 할당한다는 특징이 있다. 이에 반해 새로운 방법은 손실 값을 제외하고 남아있는 정보로 엔트로피 확률을 구하고 이를 손실 변수의 추정 값으로 사용하는 것이다. 즉, 불완전한 학습데이터로부터 소실되지 않은 많은 정보들을 이용해 소실된 일부 정보를 복구하고 딥러닝을 이용해 학습한다. 이 2가지 방법은 학습데이터에서 차례로 변수 하나를 선택하고, 이 변수에 손실된 데이터의 비율을 달리하면서 서로 다른 측정값들의 결과들과 반복적으로 비교함으로써 성능을 측정한다.

This paper introduces two different techniques for dealing with incomplete data and algorithms for learning this data. The first method is to process the incomplete data by assigning the missing value with equal probability that the missing variable can have, and learn this data with the SVM. This technique ensures that the higher the frequency of missing for any variable, the higher the entropy so that it is not selected in the decision tree. This method is characterized by ignoring all remaining information in the missing variable and assigning a new value. On the other hand, the new method is to calculate the entropy probability from the remaining information except the missing value and use it as an estimate of the missing variable. In other words, using a lot of information that is not lost from incomplete learning data to recover some missing information and learn using deep learning. These two methods measure performance by selecting one variable in turn from the training data and iteratively comparing the results of different measurements with varying proportions of data lost in the variable.

3

불완전한 데이터를 위한 딥러닝 모델 KCI 등재

이종찬

한국융합학회 한국융합학회논문지 제10권 제2호 2019.02 pp.1-6

※ 기관로그인 시 무료 이용이 가능합니다.

4,000원

제안 모델은 소실 데이터를 포함하는 불완전한 데이터에서 정보의 손실을 최소화할 수 있도록 개발되었다. 이를 위한 과정은 우선 데이터 확장기법을 이용하여 손실 정보를 보상하도록 학습 데이터를 변환한다. 이 변환 과정에서 데이터 의 속성값은 원-핫 인코딩으로 이진 또는 확률값으로 채워진다. 다음 이 변환 데이터는 딥러닝 모델에 입력되는데, 이때 각 속성의 카디너리티에 따라 엔트리 수가 일정하지 않게 된다. 그리고 각 속성의 엔트리 값들을 각각의 입력 노드에 할당하 고 학습을 진행한다. 이점이 기존 학습 모델과의 차이점으로, 임의의 속성값이 입력층에서 여러 개의 노드로 분산되는 특이 한 구조를 가진다. 제안 모델의 학습 성능을 평가하기 위해, 소실 데이터를 대상으로 다양한 실험을 수행하여 성능 면에서 우수함을 보인다. 제안 모델은 유비쿼터스 환경에서 손실을 최소화하기 위한 알고리즘으로 유용하게 사용될 것으로 본다.

The proposed model is developed to minimize the loss of information in incomplete data including missing data. The first step is to transform the learning data to compensate for the loss information using the data extension technique. In this conversion process, the attribute values of the data are filled with binary or probability values in one-hot encoding. Next, this conversion data is input to the deep learning model, where the number of entries is not constant depending on the cardinality of each attribute. Then, the entry values of each attribute are assigned to the respective input nodes, and learning proceeds. This is different from existing learning models, and has an unusual structure in which arbitrary attribute values are distributedly input to multiple nodes in the input layer. In order to evaluate the learning performance of the proposed model, various experiments are performed on the missing data and it shows that it is superior in terms of performance. The proposed model will be useful as an algorithm to minimize the loss in the ubiquitous environment.

4

데이터 확장 기법에서 손실값을 대치하는 확률 추정 방법 KCI 등재

이종찬

한국융합학회 한국융합학회논문지 제12권 제11호 2021.11 pp.91-97

※ 기관로그인 시 무료 이용이 가능합니다.

4,000원

본 논문은 불완전한 데이터를 처리하기 위해 본래 규칙개선 문제를 위해 고안되었던 데이터 확장 기법을 사용한다. 이 기법은 사건마다 중요도를 의미하는 가중치를 가질 수 있으며 각 변수를 확률값으로 나타낼 수 있는 특징이 있다. 본 논문에서의 핵심 문제가 손실값과 가장 근사한 확률을 구하여 손실값을 확률로 대치하는 것이므로, 3가지 다른 알고리즘으로 손실값에 대한 확률을 구한 후 이 데이터 구조의 형식으로 저장한다. 그리고 각각의 확률 구조에 대한 평가를 위해 SVM 분류 알고리즘으로 각각의 정보 영역을 분류하는 학습을 한 후, 본래의 정보와 비교하여 얼마나 서로 일치하느냐를 측정한다. 손실값의 대치 확률을 위한 3가지 알고리즘들은 같은 데이터 구조를 사용하고 있으나 접근 방법에서는 서로 다른 특징을 가지고 있어 적용 분야에 따라 다양한 용도로 이용될 수 있기를 기대한다.

This paper uses a data extension technique originally designed for the rule refinement problem to handling incomplete data. This technique is characterized in that each event can have a weight indicating importance, and each variable can be expressed as a probability value. Since the key problem in this paper is to find the probability that is closest to the missing value and replace the missing value with the probability, three different algorithms are used to find the probability for the missing value and then store it in this data structure format. And, after learning to classify each information area with the SVM classification algorithm for evaluation of each probability structure, it compares with the original information and measures how much they match each other. The three algorithms for the imputation probability of the missing value use the same data structure, but have different characteristics in the approach method, so it is expected that it can be used for various purposes depending on the application field.

5

임의회귀 모형 사용시 마지막 세대의 불완전한 기록이 추정육종가에 미치는 효과

조광현, 나승환, 박병호, 최재관, 서강석, 이영창, 박종대, 손삼규, A. J. Salces, 김시동

[NRF 연계] 한국축산학회 한국축산학회지 Vol.48 No.2 2006.04 pp.143-150

※ 협약을 통해 무료로 제공되는 자료로, 원문이용 방식은 연계기관의 정책을 따르고 있습니다.

원문보기

본 연구는 현재 유전평가에 사용하는 모델보다 많은 장점을 지니고 있는 임의회귀 검정일 모형(Random regression test-day model)을 이용할 때 마지막 세대의 불완전한 검정기록이 유전능력에 어떤 영향을 주는지 알아보고자 실시하였다.이용된 재료는 유우군능력검정사업을 통하여 수집된 2000년 1월부터 2005년 6월까지의 825,157개의 초산의 검정일 자료를 이용하였으며, 유전모수와 종모우의 육종가 추정은 REMLF90, BLUPF90을 이용하였다.

The data were collected in the dairy herd improvement program from January 2000 to July 2005. Test data included 825,157 records of first parity and animals with both parents known were included. This study aimed to describe the effect of incomplete lactation records of latest generation to the change in sire's breeding value using Random Regression model (RRM) in genetic evaluation. Estimation of genetic parameter and breeding value for sire used REMLF90 and BLUPF90 program. The phenotypic value on the number of test day records between group TD11, TD8, TD5, TD2 showed no large differences. For all the group heritability of test day milk yield range from 0.30 to 0.36. However TD2 group showed low heritability the least test day recode on the latest generation. The correlation of above 50% between test day and TD11(0.610), TD8(0.616), TD5(0.661) and TD2(0.682) with different records in latest generation. Sire's rank of breeding value varied widely depending on the records on the number of lactation from start to the latest generation. Study showed that change in breeding value ranked if daughter's test recode more so it should have at least 5 test day records. The use of RRM in dairy cattle genetic evaluation would be desirable if complete lactation records for latest generation daughters of young bulls when selection for proven bulls. Random Regression model (RRM) require at least 5 test-day lactation recode.

6

4,000원

본 연구는 결측치와 속성 간 이질성이 존재하는 불완전 데이터를 효율적으로 처리하기 위한 새로운 데이터 구조를 제안하고, 이를 세 가지 상이한 학습 모델에 적용하여 성능을 비교·분석한다. 제안된 데이터 구조는 불완전성을 포함하는 입력을 유연하게 표현하도록 하며, LDA 기반 모델, 에이다부스트 구조, 그리고 EBP 기반 딥러닝 모델에 각각 변형하여 적용한다. 실험 결과, LDA 모델은 결정 트리 절단 방식을 활용하여 에이다부스트의 약한 분류기로 확장될 수 있음을 확인 하고, 이로 인해 단일 LDA 대비 향상된 성능을 보인다. 또한 EBP 모델은 속성별 상이한 카디널리티와 명시적 블록 경계 정보가 없는 입력에서도 암묵적인 블록 구조를 효과적으로 학습할 수 있음을 나타낸다. 이러한 결과는 제안된 데이터 구조 가 다양한 모델과 데이터 조건에서 적용 가능함을 의미한다.

This study proposes a novel data structure designed to efficiently handle incomplete data characterized by missing values and heterogeneous attribute configurations, and applies it to three different learning models for comparative performance analysis. The proposed structure provides a flexible representation of incomplete inputs and is adapted respectively to an LDA-based model, an AdaBoost framework, and an EBP-based deep learning model. Experimental results show that the LDA model can be extended as an effective weak learner within the AdaBoost framework by employing a decision tree–based partitioning method, resulting in improved performance compared to standalone LDA. In addition, the EBP model demonstrates the ability to learn implicit block structures even when the input features have varying cardinalities and lack explicit block boundary information. These findings indicate that the proposed data structure is widely applicable across diverse learning models and data conditions.

7

불완전한 데이터를 처리하기 위한 데이터 확장기법 KCI 등재

이종찬

한국융합학회 한국융합학회논문지 제12권 제2호 2021.02 pp.7-13

※ 기관로그인 시 무료 이용이 가능합니다.

4,000원

본 논문은 학습 데이터에 손실값을 포함하고 있는 불완전한 데이터를 위하여 확률을 나타낼 수 있는 형식으로 변환한 후 손실값을 보상하는 알고리즘을 소개한다. 기존에 이러한 데이터 변환을 사용한 방법에서는 손실 변수가 가질 수 있는 균등한 확률로 손실값을 할당하여 불완전한 데이터를 처리하는 것이었다. 이 방법으로 많은 문제에 적용하여 좋은 결과를 얻었으나, 손실 변수에 남아있는 모든 정보를 무시하고 새로운 값을 할당한다는 점에서 정보의 손실이 있다 는 지적이 있었다. 이에 반해 새로운 제안 방법은 손실값을 포함하지 않는 완전한 정보만을 잘 알려진 분류 알고리즘 (C4.5)에 입력하고 학습하는 중에 결정트리가 구축된다. 그리고 이 결정트리로 부터 손실값에 대한 확률을 구하여 이를 손실 변수의 추정값으로 할당한다. 즉, 불완전한 학습 데이터에서 손실되지 않은 많은 정보들을 사용하여 손실된 일부 정보를 복구하는 것이다.

This paper introduces an algorithm that compensates for missing values after converting them into a format that can represent the probability for incomplete data including missing values in training data. In the previous method using this data conversion, incomplete data was processed by allocating missing values with an equal probability that missing variables can have. This method applied to many problems and obtained good results, but it was pointed out that there is a loss of information in that all information remaining in the missing variable is ignored and a new value is assigned. On the other hand, in the new proposed method, only complete information not including missing values is input into the well-known classification algorithm (C4.5), and the decision tree is constructed during learning. Then, the probability of the missing value is obtained from this decision tree and assigned as an estimated value of the missing variable. That is, some lost information is recovered using a lot of information that has not been lost from incomplete learning data.

8

Frequency Matrix 기법을 이용한 결측치 자료로부터의 개인신용예측 KCI 등재

배재권, 김진화, 황국재

한국정보기술응용학회 JITAM Vol.13 No.4 2006.12 pp.273-290

※ 기관로그인 시 무료 이용이 가능합니다.

5,200원

This study suggests a frequency matrix technique to predict personal credit rate more efficiently using incomplete data sets. At first this study test on multiple discriminant analysis and logistic regression analysis for predicting personal credit rate with incomplete data sets. Missing values are predicted with mean imputation method and regression imputation method here. An artificial neural network and frequency matrix technique are also tested on their performance in predicting personal credit rating. A data set of 8,234 customers in 2004 on personal credit information of Bank A are collected for the test. The performance of frequency matrix technique is compared with that of other methods. The results from the experiments show that the performance of frequency matrix technique is superior to that of all other models such as MDA-mean, Logit-mean, MDA-regression, Logit-regression, and artificial neural networks.

9

다중영상 기반의 불완전 데이터 행렬에 의한 3차원 정량화를 위한 기반 연구

송승현, 이언석, 오장석, 이경채, 김민기

한국공학안전보건예술학회 한국공학안전보건예술학회 논문지 제4권 1호 2012.08 pp.15-25

※ 기관로그인 시 무료 이용이 가능합니다.

4,200원

다양한 산업에 사용되는 영상시스템의 발전은 자동화시스템, 진단, 평가 등 여러 분야의 발전에 많은 기여를 하고 있다. 정지영상이나 동영상에서 얻어 올 수 있는 2차원 정보는 정확한 평가에 있어서 다소 부족한 정보를 제공한다. 그러므로 2차원 영상을 이용하여 3차원 정보를 얻기 위한 연구는 꼭 필요한 연구가 아닐 수 없다. 컴 퓨터에 3차원 정보를 제공하여 인간의 시각적인 기능을 부여해 주기 위한 본 연구는 컴퓨터 비전 분야에서 수많 은 연구가 진행되어 왔으며, 인간의 시각 시스템을 컴퓨터에 적용하여 자유롭게 이동하며 얻은 다중 2차원 영상 으로 3차원 정보를 추출하는 Structure from Motion(SFM)이 그 한 분야를 이루어왔다. 이 논문에서는 비디오 영상으로부터 얻어진 다중 영상을 이용하여 물체의 3차원 정보를 얻는 SFM 문제를 다 루었다. Column Space Fitting(CSF) Method에 weak-perspective camera model을 적용하였고, 그 결과 다른 방 법보다 더 좋은 결과를 얻을 수 있었다. 대부분의 이전 연구는 SVD(Singular Value Decomposition)을 사용하였 다. 하지만 이와 같은 방법은 Missing data가 존재할 경우 문제를 해결 할 수 없었다. 이와 같은 상황에도 불구 하고 CSF method는 Structure와 Motion을 매우 정확하게 얻어 낼 수 있다.

Recently the development of medical imaging systems give great effect on automation in industries or diagnosis and evaluation in medical. 2-D informations from still image or moving image have not enough to evaluate some objects in the images. Therefor it is inevitable to 3-D reconstruction in order to give some quantitative 3-D information or perceptual effect to human observers, this is the field of Structure from Motion(SFM). In this paper to solve the SFM problem the Column Space Fitting(CSF) algorithm is adoptedly using weak-perspective camera model. The results was much better than other methods. Most previous researches used SVD(Singular Value Decomposition) method was applied, however the method can apply only no missing data exist. Even though the CSF estimation Structure and Motion very accurately with the data with missing.

10

퍼지-유전자 알고리즘을 이용한 결측 강우량의 보정

김도진, 장대원, 서병하, 김형수

한국습지학회 한국습지학회지 제7권 제4호 2005.12 pp.99-109

※ 기관로그인 시 무료 이용이 가능합니다.

4,200원

분포형 모형이 개발되어 지면서 이러한 유역의 공간적인 특성을 고려한 정확한 강우 자료와 조밀한 계측망의 요구는 더욱 커지고 있다. 그러나 현실적으로 조밀한 계측망에 의해 측정된 정확한 강우 자료를 얻기는 쉽지 않다. 일반적으로 강우관측소가 적정 밀도를 가지고 유역을 대표 하도록 설치되어 있으나 부족한 실정이고, 설치되어 있더라도 강우의 시․공간적 변동성을 반영하기가 쉽지 않다. 또한 여러 가지 이유로 결측이 되는 경우도 있다. 강우는 측정된 점 관측 자료를 이용해 유역의 평균 강우분포를 추정하게 된다. 따라서 결측 강우자료는 시간의 연속성 측면에서 그 보정이 반드시 필요하며 보정 후 강우자료의 공간적 분포를 산정할 수 있을 것이다. 본 연구에서는 결측 강우량의 보정을 위하여 퍼지-유전자 알고리즘을 이용하였는데 이 방법을 기존의 방법 즉, 산술평균법, 역거리법, 년정상강우량법, 거리-고도비율법과 비교하였다. 보정결과 기존의 방법은 실측의 70∼80%의 정확도를 보였으나 퍼지-유전자 알고리즘은 90%정도의 정확도를 보였다. 특히, 민감도 분석 결과를 바탕으로 수평거리와 고도차에 대한 적정 차수를 제안하였다.

11

실세계의 산업 및 공공 데이터는 정제된 공개 데이터셋과 달리 계층 구조가 불규칙하거나 특정 단계의 정보가 생략되는 등 비정형적인 특성을 지닌다. 이러한 데이터의 불완전성은 결과적으로 분류 모델이 계층적 일관성을 유지하며 정교한 추론을 수행하는 데 큰 제약이 된다. 본 연구에서는 이러한 한계를 극복하기 위해 실세계의 복잡하고 불완전한 계층 구조를 효과적으로 학습할 수 있는 계층적 지식 증류 알고리즘을 제안한다. 제안하는 시스템은 특히 레이블 누락 문제를 해결하기 위해 가용 레이블에 대해서만 손실 함수를 계산하는 레이블 마스킹 전략과 상위 계층의 지식을 바탕으로 누락된 정보를 보완하는 의사 레이블링 기법을 도입하였다. 또한, 하위 클래스의 확률이 부모 클래스의 확률을 초과하지 않도록 강제하는 계층 일관성 제약 조건을 적용하여 구조적 모순을 차단하였다. 제안된 방법은 기존의 계층 분류 알고리즘 대비 벤치마크 데이터셋에서 우수한 성적을 거뒀다. 특히, iNaturalist2018에서는 기존 대비 Accuracy가 약 7.2% 향상된 성능을 달성했으며, 이는 본 연구에서 제안하는 방법론의 범용성과 구조적 일관성 유지 능력을 실증적으로 확인하였음을 시사한다.

Unlike refined public datasets, real-world industrial and public data often exhibit irregular hierarchical structures and missing information at specific levels. This data incompleteness acts as a significant constraint, preventing classification models from maintaining hierarchical consistency and performing sophisticated reasoning. To overcome these limitations, this study proposes a Hierarchical Knowledge Distillation algorithm designed to effectively learn from complex and incomplete real-world hierarchies. To specifically address the problem of missing labels, the proposed system introduces a label masking strategy that calculates loss functions only for available labels, alongside a pseudo-labeling technique that compensates for missing information based on knowledge from higher hierarchies. Furthermore, hierarchical consistency constraints are applied to prevent structural contradictions by ensuring that the probability of a sub-class does not exceed that of its parent class. The proposed method outperformed existing hierarchical classification algorithms on standard benchmark datasets. Notably, it achieved an approximately 7.2% improvement in accuracy on the iNaturalist 2018 dataset, empirically validating the proposed methodology's versatility and its ability to maintain structural consistency.

12

Jackknife Estimation of Incomplete Data for Data Marts for Customer Relationship Management

Venkata Naresh Mandhala, Lakshmipathi Anantha, Vijay Krishna Dhulipalla, Hye-Jin Kim

보안공학연구지원센터(IJUNESST) International Journal of u- and e- Service, Science and Technology Vol.9 No.9 2016.09 pp.287-294

※ 원문제공기관과의 협약기간이 종료되어 열람이 제한될 수 있습니다.

The commitment of measurements to information mining can be followed back to the work by Bayes in 1763. The business organizations gather information and offer it to the Data Marts. The individuals who run little and medium association needs to set up information warehousing to touch base, best case scenario arrangement. Such datasets contain part of missing qualities, at some point the missing qualities range from 10% to 33%. A portion of the information might be fundamental; to recall such information is a troublesome undertaking and this kind of datasets won't yield better arrangement, to take care of this issue the Expectation Maximization (EM) calculation gauges missing qualities. Utilizing EM Algorithm the outcomes are supplanted in the missing positions of the specific information which serves to exact conclusion. In this paper, point estimators were connected, among which EM calculation gives best gauge. It is watched that the more straightforward models by and large yield the best results.

13

Clustering Algorithm for Incomplete Data Sets with Mixed Numeric and Categorical Attributes

Wu Sen, Chen Hong, Feng Xiaodong

보안공학연구지원센터(IJDTA) International Journal of Database Theory and Application Vol.6 No.5 2013.10 pp.95-104

※ 원문제공기관과의 협약기간이 종료되어 열람이 제한될 수 있습니다.

The traditional k-prototypes algorithm is well versed in clustering data with mixed numeric and categorical attributes, while it is limited to complete data. In order to handle incomplete data set with missing values, an improved k-prototypes algorithm is proposed in this paper, which employs a new dissimilarity measure for incomplete data set with mixed numeric and categorical attributes and a new approach to select k objects as the initial prototypes based on the nearest neighbors. The improved k-prototypes algorithm can not only cluster incomplete data with no need to impute the missing values, but also avoid randomness in choosing initial prototypes. To illustrate the accuracy of the established algorithm, traditional k-prototypes algorithm and k-prototypes employing the new dissimilarity measure are compared to the improved k-prototypes algorithm by using data from UCI machine learning repository. The experimental results show that the improved k-prototypes algorithm is superior to the other two algorithms with higher clustering accuracy.

14

Dynamic Cost-Sensitive Extreme Learning Machine for Classification of Incomplete Data Based on the Deep Imputation Network SCOPUS

Fuxian Huang, Chunying Liu, Yuwen Huang, Jijiang Yu

보안공학연구지원센터(IJDTA) International Journal of Database Theory and Application Vol.9 No.6 2016.06 pp.285-298

※ 원문제공기관과의 협약기간이 종료되어 열람이 제한될 수 있습니다.

Due to its importance in many applications, the incomplete data mining has received increasing attention in recent years, but there has been little study of the cost-sensitive classification on incomplete data. Therefore this paper proposes the dynamic cost-sensitive extreme learning machine for classification of incomplete data based on the deep imputation network (DCELMIDC). Firstly, we propose an approach for incomplete data imputation based on the deep imputation network model, and offer the cost-sensitive extreme learning machine. Secondly, this paper introduces dynamic misclassification and test cost, and gives the chromosome coding and an evaluation method of the optimal cost. At last, on the basis of the genetic algorithm, the dynamic cost-sensitive extreme learning machine classification algorithm for mining incomplete data is given, which can search the optimal misclassification and test cost in cost spaces. The experiment results show that DCELMIDC is effective and feasible for classification of incomplete data, and can reduce the total cost.

15

A Novel Data Filling Algorithm for Incomplete Information System Based on Valued Limited Tolerance Relation SCOPUS

Xiuling Bai, Mingchuan Zhang, Qingtao Wu, Ruijuan Zheng, Haixia Zhao, Wangyang Wei

보안공학연구지원센터(IJDTA) International Journal of Database Theory and Application Vol.8 No.6 2015.12 pp.149-164

※ 원문제공기관과의 협약기간이 종료되어 열람이 제한될 수 있습니다.

Due to various reasons, there are generally missing data in datasets. Usually the missing data in these incomplete datasets need to be filled. In this paper, the drawbacks of some existing data filling approaches for incomplete information systems are analyzed based on Rough Set theory. Several similarity relation models are discussed and the Valued Limited Tolerance Relation model is proposed. A data filling algorithm based on the Valued Limited Tolerance Relation model is put forward. This approach makes full use of the similarity of objects and selects the object which is the most similar to the incomplete object. More missing data can be filled scientifically. The experimental results show that this approach is effective.

16

Recently network data domain knowledge updates quickly, but with the growth of the large amount of information, the stability of the information itself decreases dramatically. So, one of the key research directions is that how to dig out the valuable information from the unstable and chaotic huge information. The research on rules getting incomplete information is helpful for getting more useful information. When the incomplete information turns into complete, it will cause a certain degree of information distortion. For this problem, the paper proposes the decomposition method of incomplete information system. This method, without completion process of incomplete information, selects a template through a template function. The template function is based on the rough set theory, and when ensuring the template, it can extract subset from incomplete information through decreasing step by step. Incomplete information system need to use an intermediate variable based on rough set theory when it is broken down by simplified rule sets.

17

베이지안 기법을 적용한 Incomplete data 기반 신뢰성 성장 모델의 모수 추정

박천건, 임지성, 이상철

[Kisti 연계] 한국항공우주학회 한국항공우주학회지 Vol.47 No.10 2019 pp.747-752

※ 협약을 통해 무료로 제공되는 자료로, 원문이용 방식은 연계기관의 정책을 따르고 있습니다.

원문보기

신뢰성 성장 시험을 수행하며 획득하게 되는 고장 정보와 누적 시험수행시간을 이용하면 신뢰성 성장 모델의 모수 추정이 가능하며, 모수 추정을 통해 해당 제품의 MTBF를 예측할 수 있다. 그러나 시험에 대한 비용, 시간 혹은 제품의 특성 등의 여러 제약으로 인해 고장 정보가 구간적으로 획득되거나, 획득한 고장 정보의 샘플 데이터(Sample Data)의 수가 작을 수 있다. 이는 신뢰성 성장 모델의 모수 추정의 오차를 커지게 하는 원인이 될 수 있다. 본 논문에서는 샘플 데이터의 수가 작을 경우 신뢰성 성장 모델의 모수 추정 시 베이지안 기법 기반의 모수 추정 방법의 적용에 대해 연구를 수행하였다. 시뮬레이션 결과 신뢰성 성장 모델의 모수를 추정할 때, MLE를 적용하여 추정하는 방법보다 베이지안 기법을 적용하는 방법이 추정 정확도가 높음을 확인하였다.

By using the failure information and the cumulative test execution time obtained by performing the reliability growth test, it is possible to estimate the parameter of the reliability growth model, and the Mean Time Between Failure (MTBF) of the product can be predicted through the parameter estimation. However the failure information could be acquired periodically or the number of sample data of the obtained failure information could be small. Because there are various constraints such as the cost and time of test or the characteristics of the product. This may cause the error of the parameter estimation of the reliability growth model to increase. In this study, the Bayesian method is applied to estimating the parameters of the reliability growth model when the number of sample data for the fault information is small. Simulation results show that the estimation accuracy of Bayesian method is more accurate than that of Maximum Likelihood Estimation (MLE) respectively in estimation the parameters of the reliability growth model.

18

Recovering Incomplete Data using Tucker Model for Tensor with Low-n-rank

Thieu, Thao Nguyen, Yang, Hyung-Jeong, Vu, Tien Duong, Kim, Sun-Hee

[Kisti 연계] 한국콘텐츠학회 International journal of contents Vol.12 No.3 2016 pp.22-28

※ 협약을 통해 무료로 제공되는 자료로, 원문이용 방식은 연계기관의 정책을 따르고 있습니다.

원문보기

Tensor with missing or incomplete values is a ubiquitous problem in various fields such as biomedical signal processing, image processing, and social network analysis. In this paper, we considered how to reconstruct a dataset with missing values by using tensor form which is called tensor completion process. We applied Tucker factorization to solve tensor completion which was built base on optimization problem. We formulated the optimization objective function using components of Tucker model after decomposing. The weighted least square matric contained only known values of the tensor with low rank in its modes. A first order optimization method, namely Nonlinear Conjugated Gradient, was applied to solve the optimization problem. We demonstrated the effectiveness of the proposed method in EEG signals with about 70% missing entries compared to other algorithms. The relative error was proposed to compare the difference between original tensor and the process output.

19

Handling Incomplete Data Problem in Collaborative Filtering System

Noh, Hyun-ju, Kwak, Min-jung, Han, In-goo

[Kisti 연계] 한국산학기술학회 한국산학기술학회 학술대회논문집 2003 pp.105-110

※ 협약을 통해 무료로 제공되는 자료로, 원문이용 방식은 연계기관의 정책을 따르고 있습니다.

원문보기

Collaborative filtering is one of the methodologies that are most widely used for recommendation system. It is based on a data matrix of each customer's preferences of products. There could be a lot of missing values in such preference. data matrix. This incomplete data is one of the reasons to deteriorate the accuracy of recommendation system. Multiple imputation method imputes m values for each missing value. It overcomes flaws of single imputation approaches through considering the uncertainty of missing values.. The objective of this paper is to suggest multiple imputation-based collaborative filtering approach for recommendation system to improve the accuracy in prediction performance. The experimental works show that the proposed approach provides better performance than the traditional Collaborative filtering approach, especially in case that there are a lot of missing values in dataset used for recommendation system.

20

Handling Incomplete Data Problem in Collaborative Filtering System

Noh, Hyun-Ju, Kwak, Min-Jung, Han, In-Goo

[Kisti 연계] 한국지능정보시스템학회 Journal of Intelligence and Information Systems Vol.9 No.2 2003 pp.51-63

※ 협약을 통해 무료로 제공되는 자료로, 원문이용 방식은 연계기관의 정책을 따르고 있습니다.

원문보기

Collaborative filtering is one of the methodologies that are most widely used for recommendation system. It is based on a data matrix of each customer's preferences of products. There could be a lot of missing values in such preference data matrix. This incomplete data is one of the reasons to deteriorate the accuracy of recommendation system. There are several treatments to deal with the incomplete data problem such as case deletion and single imputation. Those approaches are simple and easy to implement but they may provide biased results. Multiple imputation method imputes m values for each missing value. It overcomes flaws of single imputation approaches through considering the uncertainty of missing values. The objective of this paper is to suggest multiple imputation-based collaborative filtering approach for recommendation system to improve the accuracy in prediction performance. The experimental works show that the proposed approach provides better performance than the traditional Collaborative filtering approach, especially in case that there are a lot of missing values in dataset used for recommendation system.

 
1 2 3 4
페이지 저장