Earticle

현재 추천 시스템은 실제 사용자가 선호하는 항목을 추천하는지, 아니면 단순히 관심 정도의 항목을 추천하는지 알 수 없다는 문제와 사용자들이 매우 적어 적합한 항목을 추천할 수 없는 데이터 희소성 문제, 새로운 사용자들이 유입됨 에 따라 사용자들이 만족하는 항목을 추천하기 위해 시스템의 성능이 저하되는 Cold-Start 문제 등이 발생한다. 본 연구에 서는 이러한 문제점을 해결하기 위해 불확실한 상황이나 문제들을 반영할 수 있는 퍼지-계층적 분석(Fuzzy-Analytic Hierarchy Process)과 주어진 항목들을 비슷한 항목들끼리 모으는 데이터 군집화 알고리즘을 활용하여 사용자들에게 만족 할 수 있는 영화를 추천하기 위한 시스템을 구현하였다. 61명을 대상으로 영화 선호도에 대한 설문 조사를 실시한 데이터를 본 시스템에 적용한 결과 Fuzzy-AHP 기법을 통해서 데이터 희소성 문제를 해소할 수 있었으며, 또한 데이터 군집화 알고 리즘을 통해 새로운 사용자들이 유입되어도 사용자에게 적합한 항목이 추천되었음을 확인할 수 있었다. 향후 노이즈 데이 터나 아웃라이어(Outlier) 데이터를 걸러낼 수 있는 밀도 기반 클러스터링에 대한 연구가 필요할 것으로 생각된다.

The current recommendation systems have problems including the difficulty of figuring out whether they recommend items that actual users have preference for or have simple interest in, the scarcity of data to recommend proper items due to the extremely small number of users, and the cold-start issue of the dropping system performance to recommend items that can satisfy users according to the influx of new users. In an effort to solve these problems, this study implemented a movie recommendation system to ensure user satisfaction by using the Fuzzy-Analytic Hierarchy Process, which can reflect uncertain situations and problems, and the data partition algorithm to group similar items among the given ones. The data of a survey on movie preference with 61 users was applied to the system, and the results show that it solved the data scarcity problem based on the Fuzzy-AHP and recommended items fit for a user with the data partition algorithm even with the influx of new users. It is thought that research on the density-based clustering will be needed to filter out future noise data or outlier data.

This study suggests the partition algorithm for updating the discovered association rules in large database, because a database may allow frequent or occasional updates, and such update may not only invalidate some existing strong association rules, but also turn some weak rules into strong ones. the Partition algorithm updates strong association rules efficiently in the whole update database reuseing the information of the old large itemsets. Partition algorithms that is suggested in this study scans an incremental database in view of the fact that it is difficult to find the new set of large itemset in the whole updated database after an incremental database is added to the original database. This method of generating large itemsets is different from that of FUP(Fast Update) and KDP(Kim Dong Pil)

오늘날 빅데이터로부터 유의미한 결과를 도출하는 연구가 활발히 진행되고 있다. 본 논문에선 빅데이터의데이터의 영역들을 파티션(partition)으로 설정하고 각 파티션들의 대표 값을 계산하여 변수들 사이의 상관관계를 분석 할 수 있는 파티션 기반 빅데이터 분석 알고리즘을 제안한다. 본 논문에선 파티션의 크기조절이 가능한 파티션 기반 빅데이터 분석 알고리즘의 파티션 크기 변화에 따른 시각화 결과를 비교분석하였다. 제안한 파티션 기반 빅데이터 분석 알고리즘을 검증하기 위해 의류 회사 ‘A’의 빅데이터를 분석하여 온도와 판매 가격 변화에 따른 상품의 판매량 변화를 분석하고 시각화하여 유의미한 결과를 얻을 수 있었다.

Today, research is actively being conducted to derive meaningful results from big data. In this paper, we propose a partition-based big data analysis algorithm that can analyze the correlation between variables by setting the data areas of big data as partitions and calculating the representative values of each partition. In this paper, the analyzed visualization results are compared according to the partition size of a proposed partition-based big data analysis (PBDA) algorithm that can control the size of the partition. In order to verify the proposed PBDA algorithm, the big data of ‘A’ is analyzed, and meaningful results are obtained through the analysis of changes in sales volume of products according to changes in temperature and sales price.