Earticle

초록

영어

Objectives This study investigates the effectiveness of causal forests, a machine learning method for estimating heterogeneous treatment effects, in evaluating public communication campaigns. Unlike traditional evaluations that focus on average treatment effects, this study estimates heterogeneous treatment effects that vary based on audience characteristics and explores their determinants. Methods Data were collected from 1,000 adults who participated in a cross-sectional study assessing the 2015 Tuberculosis Prevention Media Campaign conducted by the Korea Centers for Disease Control and Prevention. Campaign exposure served as the treatment variable, while tuberculosis knowledge and screening intention were the outcome variables. A causal forest was used to estimate the conditional average treatment effect on the treated (CATT). The study also examined treatment effect heterogeneity and the characteristics of high- and low-effect subgroups, validating the estimates by comparing them with previously reported propensity score matching (PSM) results. Results Causal forest estimates revealed positive average treatment effects on both tuberculosis knowledge(CATT = 5.885, 95% CI [3.807, 7.963]) and screening intention (CATT = 0.150, 95% CI [0.061, 0.239]), closely aligning with the previously reported PSM results. However, significant heterogeneity was noted in the CATT estimates, with negative estimates for 3.33% of the exposed group in the knowledge model and 11.09% in the screening intention model. The effect on tuberculosis knowledge varied according to media use frequency and prior tuberculosis-related experience, while the effect on screening intention differed based on age, education level, and family history of tuberculosis. Conclusions This study provides empirical evidence supporting the methodological utility of the machine learning-based causal forest approach in evaluating public communication campaigns. Given the identified distribution and heterogeneity of effects underlying the average treatment effect, we discuss practical implications for resource allocation, audience targeting, and message differentiation, suggesting that causal forests can effectively complement evaluations focused on average treatment effects.

한국어

연구목적 본 연구의 목적은 공공 커뮤니케이션 캠페인 평가에서 머신러닝 기반 이질적 처치 효과 추정 방법인 인과포레스트의 유용성을 탐색하는 것이다. 이를 위해 평균 처치 효과 중심의 기존 평가를 넘어, 수용자 특성에따라 달라지는 이질적 처치 효과를 추정하고 그 결정요인을 분석하였다. 연구방법 2015년 질병관리본부가 수행한 ｢결핵 예방 미디어 캠페인 효과 평가｣단일 시점 조사에 참여한 성인 1,000 명의 자료를 분석하였다. 캠페인 노출 여부를 처치 변수로, 결핵 지식과 결핵 검진 의도를 결과 변수로 설정하고, 인과 포레스트를 통해 캠페인에 노출된 수용자의 조건부 처치 집단 평균 효과를 추정하였다. 아울러효과의 이질성 결정요인과 고효과⋅저효과 집단의 특성을 분석하였으며, 추정의 타당성을 점검하기 위해 성향점수매칭 기반의 평균 처치 효과와 비교하였다. 연구결과 인과 포레스트로 추정한 결핵 지식의 평균 처치 효과는 5.885 [95% CI: 3.807, 7.963], 결핵 검진 의도의 평균 처치 효과는 0.150 [95% CI: 0.061, 0.239]으로 나타났으며, 이는 기존 성향점수매칭 기반의 평균 처치 효과와 유사한 수준이었다. 그러나 수용자 특성에 따른 조건부 처치 집단 평균 처치 효과에는 상당한 이질성이 발견되었으며, 결핵 지식 모델에서는 노출 집단의 3.33%, 검진 의도 모델에서는 11.09%가음의 조건부 효과가 추정되었다. 결핵 지식 향상 효과는 미디어 이용 빈도와 기존 결핵 관련 경험에 따라달라졌으며, 검진 의도 향상 효과는 연령, 교육 수준 및 가족력에 따라 이질적으로 나타났다. 결론 및 함의 본 연구는 머신러닝 기반 인과 포레스트 방법이 공공 커뮤니케이션 캠페인 평가에서 지니는 방법론적 유용성을 확인하였다. 이러한 결과는 캠페인의 효과 평가에 있어 평균 효과 이면에 존재하는 효과의 분포와 이질성을 데이터 기반으로 식별하게 함으로써 자원 배분, 타깃 선정 및 메시지 차별화 전략 수립에 실무적 근거를 제공하며, 인과 포레스트가 평균 효과 중심 평가를 보완하는 처치 효과 추정 방법으로 유용하게 활용될 수 있음을 보여준다.

저자

• 이병관
• 김옐레나
• 마혜현
• 금세연

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  PR연구(구 홍보학연구) [Journal of Public Relations]

• 간기

  계간

• pISSN

  1229-2869

• eISSN

  2671-8227

• 수록기간

  1997~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 326 DDC 338