Earticle

이커머스(e-Commerce) 환경에서의 온라인 고객 행동은 상품에 대한 관심도 및 구매 의도 추정의 근거로 작용한다. 최근 많은 기업들이 웹(web)과 모바일 앱(app)을 통해 수집 가능한 로그 데이터 기반 고객 행동 분석을 통해 구매 및 재구매 가능성 예측 뿐 아니라 이탈(churn) 예측, 유저 가치 스코어링(scoring), 서비스 개인화 등에 많은 투자를 하고 있다. 그 중에서도, 실시간 클릭스트림(clickstream) 기반의 이벤트 로그 데이터(event log data)는 온라인 쇼핑몰 내 고객 여정(customer journey)에서 구매에 이르기까지의 시계열적 순차 진행에 따른 상호 작용을 구체적으로 알 수 있게 하여 예측의 정확도를 높이고 다양한 비즈니스 활용에 있어 큰 가치를 가지며, 이와 동시에 대용량 데이터로서의 특성을 가지기 때문에 이를 효과적으로 분석하는 방안에 대한 수요는 점점 높아지고 있다. 구매 예측에 흔히 활용되는 방법론으로, 구매 가능성 스코어(probability score) 및 구매 여부 분류 예측을 위한 지도 학습(Supervised Learning) 기법으로 로지스틱 회귀(Logistic Regression), 의사결정나무(Decision Tree), 랜덤 포레스트(Random Forest), 신경망(Neural Networks) 등이 활용되고 있으며, 비지도 학습(Unsupervised Learning) 으로 행동 특성 기반 및 제품 기반 고객유형 분류를 위한 군집화 모델로서 K-평균(K-means) 클러스터링(Clustering), DBSCAN 클러스터링, 그 외에도 장바구니 분석과 같은 구매이력 연관 규칙(Association rule) 분석의 Apriori 알고리즘 기법 등이 활용되고 있다. 위와 같은 구매 예측 방법론들을 바탕으로 한 이커머스 전환 예측(conversion prediction) 분야에 있어 오랜 기간에 걸쳐 기존 연구가 상당수 진행되어 왔다. 과거의 연구에서는 개인 프로파일(성별, 나이, 소득 등) 정보와 더불어 구매이력 기반의 트랜잭션(transaction)과 같은 정적(static) 컨텍스트 정보에 국한되어 연구가 다수 진행되었다면, 최근의 연구에서는 예측의 정확도를 높이기 위해 동적(dynamic) 컨텍스트 및 상호작용 정보를 기반으로 한 학습 모델링 기법의 활용이 높아지는 추세이다. (Seippel, 2018) 본 연구에서는 화장품(Cosmetics) 이커머스 리테일 상점에서 수집된 5개월 치(2019년 10월 ~ 2020년 2월) 163만 유저의 대용량 온라인 행동 이벤트 로그 데이터셋을 활용하여, 구매 혹은 비구매에 이르는 경로를 순차패턴 탐색(Sequential Pattern Mining) 데이터 마이닝 기법으로 분석해낸 뒤, 전처리(preprocessing) 기법을 통해 유저 별 구매 이전의 행동 값들만 추출하여 구매 여부를 레이블(labeling) 하고자 했다. 궁극적으로 유저 별 시퀀스(sequence) 정보를 정제 후 구매 예측 모델링 학습 시 활용하여 모델 간의 성능 비교를 통해 시퀀스 기반 구매 전환 예측에 가장 우수한 예측 기법을 도출해내고자 한다. 예측 모델링 알고리즘 적용 이전 탐색적 데이터 분석(exploratory data analysis) 결과, 본 연구에서 사용된 데이터셋 내 전체 고객 중 구매 고객 비율은 약 6%에 해당되며, 행동 이벤트 수 분석 시 월별 약 82~85%의 고객은 10개 이하의 이벤트만을, 약 90%의 고객은 25개 내의 이벤트를 발생시킨 후 이탈하는 추세를 보인다. 다만, 10개 초과의 상호작용 이벤트를 발생시킨 고객은 해당 이커머스 상점 내 발생하는 전체 이벤트 수의 85%에 달하는 이벤트를 발생키는 양상을 보였다. 10개 초과 상호작용 발생 고객은 전체 구매 고객의 87% 정도를 차지하며 10개 미만의 이벤트를 발생시킨 고객 대비 구매 전환율에 있어서도 약 33배에 달하는 차이를 보여, 이벤트 수에 따른 구매 고객 비중에 있어 파레토의 법칙(Pareto Principle)이 적용됨을 보여준다. 또한, 장바구니 이용 고객 비중은 전체 사용자의 26% 정도에 해당되며, 장바구니 이용에 따른 구매 전환 양상에 있어서도 차이를 보였다. 장바구니 미 이용 고객의 약 0.15% 만이 구매 전환으로 이어짐과 달리, 장바구니 이용 고객의 구매 전환율은 약 32%에 달하여 장바구니 이용 여부에 따라 구매 가능성이 약 200배나 차이남이 발견되었다. 구매 고객의 98%는 장바구니 담기 기능을 이용하며, 장바구니 이용은 평균적으로 전체 이벤트 시퀀스의 3번째에 발생하는 빈도가 높았다. 이에 반해, 구매가 발생하는 시퀀스는 평균적으로 17번째 상호작용 즈음 발생하는 것으로 나타났다. 구매 고객과 미구매 고객 간의 차이에 있어서, 구매 고객은 평균적으로 7회의 상품 조회를 함과 달리, 미구매 고객은 3회 이하의 상품 조회 후 이탈하는 것으로 나타났다. 또한, 구매 고객의 평균 이벤트 발생 수는 약 23회에 달하는 데 반해, 미구매 고객이 발생시키는 이벤트 수는 4회 미만에 그치는 것으로 나타나며, 관심도에 따른 상호작용의 차이를 보여준다. 위와 같이 이벤트 시퀀스에 따른 구매/비구매 패턴 정보를 파악 후, 유저별 구매 전환 여부를 분류하는 예측 모델링을 수행하였다. 그 중에서도 부스팅 기반의 XGBoost 알고리즘을 사용하여 모델링을 수행한 결과, 유저별 시퀀스 정보를 학습 모델에 반영하였을 시 반영하지 않은 경우에 비해 특정 지표에서 성능이 개선됨을 확인할 수 있었다. 이와 같이 CatBoost, LightGBM 알고리즘 적용 시에도 시퀀스 정보 반영에 따른 모델의 성능 개선을 발견할 수 있었다. 본 연구의 의미는 크게 두 가지로 요약할 수 있다. 첫째, 화장품 이커머스 상점에서의 구매 및 비구매에 이르는 주요 행동 패턴을 순차패턴 탐색을 통한 데이터 마이닝 기법을 통해 나타낸 점이다. 이와 함께, 상품의 카테고리 및 가격대 정보에 따라 행동 시퀀스 유형이 어떻게 달라지는지 살폈다는 점 또한 유의미한 정보이다. 둘째, 행동 이력 시퀀스 정보를 반영하여 모델링 시 예측 정확도에 있어서 구매 이력 트랜잭션을 활용한 모델과 대비하여 성능이 개선됨을 확인한 점에서 가치를 가진다. 이를 바탕으로 이벤트 로그와 같은 대용량 행동 데이터 학습에 적합한 예측 모델은 어떤 모델인지, 구매 혹은 비구매에 이르는 시퀀스 정보를 효과적으로 패턴화 하기 위한 데이터 마이닝 기법은 무엇인지 제안 가능하게 하였다. 또한, 정확도(accuracy), 정밀도(precision), 재현율(recall) 및 F1 Score, ROC-AUC 등의 평가 지표를 활용하여 시퀀스 정보 학습에 따른 모델별 성능 개선 여부를 구체적으로 관측할 수 있게 한다. 본 연구에서 제시하는 시퀀스 패턴분석 기반 구매 전환 예측 모델링 기법 연구는 다양한 비즈니스 활용 가치를 갖는다. 예측과 구매 전환 가능성이 높은 이벤트 시퀀스 구간(path)을 파악하여, 잠재적 구매 순간(buying moment)을 규명하고 실시간 고객 리타겟팅(retargeting)과 같은 개인화된 마케팅 기회(opportunity)를 포착할 수 있게 하며, 더 나아가 구매 가능성이 높은 고객을 스코어링(scoring) 하여 고(高)가치 고객 대상의 타겟팅 정확도를 높이는 데에도 기여할 수 있다는 점에서 의의를 갖는다.

인구통계학적 정보는 디지털 마케팅의 핵심이라 할 수 있는 인터넷 사용자에 대한 타겟 마케팅 및 개인화된 광고를 위해 고려되는 가장 기초적이고 중요한 정보이다. 하지만 인터넷 사용자의 온라인 활동은 익명으로 행해지는 경우가 많기 때문에 인구통계특성 정보를 수집하는 것은 쉬운 일이 아니다. 정기적인 설문 조사를 통해 사용자들의 인구통계특성 정보를 수집할 수도 있지만 많은 비용이 들며 허위 기재 등과 같은 위험성이 존재한다. 특히, 모바일 환경에서는 대부분의 사용자들이 익명으로 활동하기 때문에 인구통계특성 정보를 수집하는 것은 더욱 더 어려워지고 있다. 반면, 인터넷 사용자의 온라인 활동을 기록한 클릭스트림 데이터는 해당 사용자의 인구통계학적 정보에 활용될 수 있다. 특히, 인터넷 사용자의 온라인 행위 특성 중 하나인 페이지뷰는 인구통계학적 정보 예측에 있어서 중요한 요인이 된다. 본 연구에서는 기존 선행 연구를 토대로 클릭스트림 데이터 분석을 통해 인터넷 사용자의 온라인 행위 특성을 추출하고 이를 해당 사용자의 인구통계학적 정보 예측에 사용한다. 또한, 1)의사결정나무를 이용한 변수 축소, 2)주성분분석을 활용한 차원축소, 3)군집분석을 활용한 변수축소의 방법을 제안하고 실험에 적용함으로써 많은 설명변수를 이용하여 예측 모델 생성 시 발생하는 차원의 저주와 과적합 문제를 해결하고 예측 모델의 정확도를 높이고자 하였다. 실험 결과, 범주의 수가 많은 다분형 종속변수에 대한 예측 모델은 모든 설명변수를 사용하여 예측 모델을 생성했을 때보다 본 연구에서 제안한 방법론들을 적용했을 때 예측 모델에 대한 정확도가 향상됨을 알 수 있었다. 본 연구는 클릭스트림 분석을 통해 추출된 인터넷 사용자의 온라인 행위는 해당 사용자의 인구통계학적 정보 예측에 활용 가능하며, 예측된 익명의 인터넷 사용자들에 대한 인구통계학적 정보를 디지털 마케팅에 활용 할 수 있다는데 의의가 있다. 또한, 제안 방법론들을 통해 어느 종속변수에 대해 어떤 방법론들이 예측 모델의 정확도를 개선하는지 확인하였다. 이는 추후 클릭스트림 분석을 활용하여 인구통계학적 정보를 예측할 때, 본 연구에서 제안한 방법론을 사용하여 보다 높은 정확도를 가지는 예측 모델을 생성 할 수 있다는데 의의가 있다.

The demographics of Internet users are the most basic and important sources for target marketing or personalized advertisements on the digital marketing channels which include email, mobile, and social media. However, it gradually has become difficult to collect the demographics of Internet users because their activities are anonymous in many cases. Although the marketing department is able to get the demographics using online or offline surveys, these approaches are very expensive, long processes, and likely to include false statements. Clickstream data is the recording an Internet user leaves behind while visiting websites. As the user clicks anywhere in the webpage, the activity is logged in semi-structured website log files. Such data allows us to see what pages users visited, how long they stayed there, how often they visited, when they usually visited, which site they prefer, what keywords they used to find the site, whether they purchased any, and so forth. For such a reason, some researchers tried to guess the demographics of Internet users by using their clickstream data. They derived various independent variables likely to be correlated to the demographics. The variables include search keyword, frequency and intensity for time, day and month, variety of websites visited, text information for web pages visited, etc. The demographic attributes to predict are also diverse according to the paper, and cover gender, age, job, location, income, education, marital status, presence of children. A variety of data mining methods, such as LSA, SVM, decision tree, neural network, logistic regression, and k-nearest neighbors, were used for prediction model building. However, this research has not yet identified which data mining method is appropriate to predict each demographic variable. Moreover, it is required to review independent variables studied so far and combine them as needed, and evaluate them for building the best prediction model. The objective of this study is to choose clickstream attributes mostly likely to be correlated to the demographics from the results of previous research, and then to identify which data mining method is fitting to predict each demographic attribute. Among the demographic attributes, this paper focus on predicting gender, age, marital status, residence, and job. And from the results of previous research, 64 clickstream attributes are applied to predict the demographic attributes. The overall process of predictive model building is compose of 4 steps. In the first step, we create user profiles which include 64 clickstream attributes and 5 demographic attributes. The second step performs the dimension reduction of clickstream variables to solve the curse of dimensionality and overfitting problem. We utilize three approaches which are based on decision tree, PCA, and cluster analysis. We build alternative predictive models for each demographic variable in the third step. SVM, neural network, and logistic regression are used for modeling. The last step evaluates the alternative models in view of model accuracy and selects the best model. For the experiments, we used clickstream data which represents 5 demographics and 16,962,705 online activities for 5,000 Internet users. IBM SPSS Modeler 17.0 was used for our prediction process, and the 5-fold cross validation was conducted to enhance the reliability of our experiments. As the experimental results, we can verify that there are a specific data mining method well-suited for each demographic variable. For example, age prediction is best performed when using the decision tree based dimension reduction and neural network whereas the prediction of gender and marital status is the most accurate by applying SVM without dimension reduction. We conclude that the online behaviors of the Internet users, captured from the clickstream data analysis, could be well used to predict their demographics, thereby being utilized to the digital marketing.

인터넷 사용 환경이 편리해지고 일상생활화되면서 웹 사이트 운영자들은 다양한 컨텐츠 제공과 차별화된 웹 서비스의 제공을 위해 노력하고 있다. 본 논문에서는 웹 사이트에서 발생하는 사용자의 클릭스트림 정보를 사용자별로 구분하여 분석하고. 분석된 클릭스트림 정보를 이용해 사용자에게 가장 관심있는 컨텐츠를 효과적으로 전할할 수 있는 사용자별 메뉴를 생성하는 시스템을 구현하였다. 웹 사이트에서 사용자가 자주 이용하는 컨텐츠 메뉴를 별도로 구성하여 제공함으로써. 사용자가 필요로하는 컨텐츠를 접근하기 위해 소요되는 시간을 절약할 수 있을 뿐만 아니라, 연관성있는 컨텐츠 메뉴를 함께 제공함으로서 사용자 중심의 차별화된 서비스를 제공할 수 있다.

인터넷을 이용한 정보의 공유, 활용 및 전자상거래가 활성화되면서 많은 양의 컨텐츠가 웹 사이트에서 서비스되고 있다. 사용자는 신속하게 정보를 획득하기 위하여 웹 브라우저의 즐겨찾기 기능을 이용한다. 기존의 즐겨찾기 기능은 사용자가 해당 URL을 즐겨찾기에 등록할 것인지를 판단하고 수작업으로 등록하여 관리해야하는 문제점을 가지고 있다. 본 논문에서는 즐겨찾기 목록 관리의 문제점을 해결하기 위하여 사용자가 웹 브라우저를 이용하여 사이트 방문시 발생하는 클릭 스트림을 사용자 컴퓨터에 저장하고 그 자료를 분석하여 즐겨찾기 목록에 해당 URL을 자동으로 등록하고, 또한 즐겨찾기 목록이 동적으로 관리될 수 있는 즐겨찾기 메뉴 자동생성 시스템을 구현 하였다.

본 연구는 네티즌들을 대상으로 중앙정부 부처 웹사이트 이용 여부에 영향을 미치는 인구통계학적 변인들과 가족구조 관련 변인들을 규명하는 것을 주목적으로 한다. 이를 위해, 코리안클릭 패널들의 2006년 이용 내역이 담긴 클릭스트림 데이터를 가공하여 부처 기능유형별로 연간 웹사이트 방문 여부를 측정한 횡단면 자료로 변환시킨 뒤 Logit과 Probit 분석을 실시하였다. 분석 결과, 인구통계학적 변인들과 관련해서는 블루칼라, 고졸, 월소득 100-300만원 그룹이 각각 화이트칼라, 대졸, 월소득 500만원이상 그룹에 비해 모든 부처 기능유형에 걸쳐 웹사이트 방문확률이 유의미하게 낮은 것으로 나타났다. 가족구조 변인들과 관련해서는 개인의 중앙정부부처 웹사이트 방문 확률은 인터넷 이용 가족수가 많을수록 감소하는 반면 정부부처 웹 사이트 이용 가족수가 많을수록 증가하는 것으로 드러났다. 아울러 사회문화 부문을 제외하고는 인터넷을 이용하는 청소년 가족수가 많을수록 웹사이트 방문확률이 유의하게 낮아지는 것으로 나타났다.

The main purpose of this study is to examine the sociodemographic characteristics and family-structure-related attributes among the Korean netizens that affects the use of website of ministries of the central government. This study processes the click-stream data of 2006 of the KoreanClick panels and transforms it into cross-sectional data measuring whether or not the individual visited the websites during 2006 as dependent variable. Logit and Probit analysis were used so as to find the main causal factors that affect the individuals' decision whether to visit the government websites or not. The result show that regardless of the functional category of ministries in terms of socio-demographic characteristics, blue-collar workers, high school graduates, and monthly income group of 1-3 million KRW are less likely to use the central government websites than white-collar workers, college graduates and monthly income group of 5 million KRW or more. Also, in terms of family-structure-related variables if more members in the family were internet users, the less likely each family member is to visit the central government websites. On the other hand, if there were many members in the family that visited these websites, it created positive externalities allowing a form of knowledge diffusion, thereby encouraging the use of government ministry websites. Also, we found that the greater the number of teenagers internet users in a family, the less likely each family member visit the central government websites.

온라인 상거래 시장에 있어서 눈에 보이지 않는 방문자들의 행동을 파악하고 이에 대한 적절한 반응을 강구하는 것은 중요한 의미가 있다. 본 논문에서는 인터넷 쇼핑몰을 방문하는 사용자가 구축하는 연결망을 분석하여 이를 토대로 구매행동을 파악하고자 하였다. 연결망 분석에 유용하게 쓰이는 그래프 이론을 바탕으로 하여, 웹사이트 방문자가 구축하는 연결망의 밀도와 집중도를 중심으로 사용자의 구매행동을 살펴 보았다. 연결망 이론을 바탕으로 하여 사용자의 전체 방문기록을 의미하는 세션을 하나의 연결망으로 인식하였다. 실제 활동중인 인터넷 쇼핑몰을 방문한 사용자들의 클릭스트림 데이터를 대상으로 분석하였으며, 연구모형의 비교를 검증하기 위해 빈도 및 시간과 관련된 기타 독립변수들로 구성된 모형들과의 분류예측 성과를 로지스틱 회귀분석을 실행하여 비교검증해 보았다. 연구결과 사용자들을 구매집단 및 비구매집단으로 분류예측하는 경우, 본 연구에서 제안하는 연결망 관련 측정치인 밀도와 집중도로 구성된 모형을 이용하면 분류정확도의 성과가 높게 나타나는 것을 알 수 있었다. 즉 연관성있는 개체들을 많이 확인하는 사용자가 구매성향이 높다는 것을 알 수 있었다. 본 연구를 통해 온라인 사용자를 구매 및 비구매 기준으로 구분할 수 있는 하나의 유용한 기법을 제안할 수 있었으며, 인터넷이라는 거대한 연결망 내에서의 고객행동을 설명할 수 있는 방법론을 제시하였다.

As e-commerce based market is getting popular, classifying customers into groups and predicting the decision of whether customers buy products or not in web stores provide useful information for the web service providers. This study proposes an approach that classifies groups of customer using clickstream data and network theory. Specifically, a user’s session from clickstream dataset can be transformed into a graphical network, which represented in density and centralization based on graph theory. The history of online users' activities can be used to construct a relationship network graphically. Dataset is formed on the basis of a session which means a sequence of page views or a period of sustained web browsing. The sessions based on density and centralization of a graph are evaluated into logistic regression. The results show that the proposed model including density and centralization of the session is wellperformed in classifying groups. This study shows customers’ session of dataset with respect to a graph structure can be used to predict whether a customer will buy or not buy a product in a web store. This study proposes an approach to identify customers who show high possibility in purchasing using data set on their behaviors in the internet decision space.

정부는 지역 간 정보격차를 해소하고 공동체 및 지역경제를 활성화하기 위해 2001년부터 정보화마을 사업을 전개해 오고 있다. 이에 대한 기존 연구들이 공급자 중심 평가에 초점을 두었다면, 본 연구는 수요자에 중점을 두고 클릭스트림 데이터를 활용하여 정보화마을 웹사이트 이용자의 인구통계학적 특징 및 이용 행태를 분석하였다. 분석 결과, 저연령층과 저학력층의 상대적 방문확률이 낮은 것으로, 연간사용시간과 방문일수에 있어서는 저학력층과 저소득층, 여성, 25~34세 연령층, 충청･강원지역민의 이용도가 높은 것으로 나타났다. 그러나 전체 패널 대비 순방문자 비율이 3.7 %이고, 이용자의 연평균 방문시간이 약 7.5 분, 연평균방문일수가 약 3.28일로 나타나 정보화마을 웹페이지 및 정보화마을 사업이 성공적으로 운영된다고 보기는 어렵다. 향후 이용자 특성 및 이용 행태 분석에 기초한 정보화마을 웹사이트 및 사업 자체의 활성화 전략이 필요하다.

Since 2001 South Korean government has been operationg 'information network village' building project to solve the digital divide between regions, and to stimulate the community and regional economies. In contrast with supplier-focused evaluation of previous research this study focused on the customers to analyse, relying upon Clickstream data, the socio-demographic attributes of 'Information Network Village' website users and their usage behaviour. The analysis found that in terms of access young aged and undereducated group have a lower percentage of log on to 'Information Network Village' website, and as for the duration of visit and the number of daily visits undereducated and low-income, female, 25-34 aged, Chungcheong and Gangwon resident group used the websites more than other groups did during the time period. In conclusion, it is hard to consider 'Information Network Village' website and the 'Information Network Village' building project as a success, because the ratio of unique visitors to total panel members is 3.7 per cent, the user's duration of visit is 7.5 minutes, and the number of his/her daily visits to the site is 3.28 days on average during the time period. It is required to develop a strategy based on the analysis of the attributes of 'Information Network Village' website users and of their behaviour to invigorate 'Information Network Village' website and the 'Information Network Village' building project itself.

…This study explores the effectiveness of the loss-leader pricing strategy in online shopping malls. It focuses on the impact of the strategy that leads customers to purchase other goods besides the loss-leader goods (purchasing conversion effects). The study empirically researched the click stream data of six online shopping malls. The results of this research are as follows: First, discount coupons was most effective in terms of purchasing conversion effect than other methods. Second, events produced a different purchasing conversion effect based on the online shopping mall type and customer’s age. Third, bargain sales produced different purchasing conversion effect based on customer’s age and gender. Finally, discount coupons revealed a different purchasing conversion effect based on online shopping mall types. This study may contribute to research on online shopping malls, because it is a pioneering study focusing on the loss-leader pricing strategy at the online business level, using web panels’ clickstream data. It may also help people working in e-commerce to understand the proper application of the loss-leader pricing strategy based on mall’s type, customers' age and gender in order to improve their financial status.