Earticle

초록

영어

Modern game immersion heavily relies on intelligent and flexible Non-Player Character (NPC) behaviors. However, existing systems like FSMs face state explosion and maintenance issues and BTs exhibit limited, rigid decision-making due to fixed priorities in dynamic environments. To address this, we propose a Hierarchical Reinforcement Learning-based Behavior Tree (HRL-BT) that combines the structural benefits of BT with the autonomous optimization of Reinforcement Learning (RL). The model was evaluated against FSM and BT in a 'resource collection scenario with dynamic risk factors' to test its adaptability. The HRL-BT model achieved the highest mission success rate across all difficulty levels. In the most complex environment (L05), it showed a success rate of 59.89%, approximately three times higher than the BT model (20.95%). This confirms that HRL-BT successfully learns an intelligent policy that comprehensively balances risk and reward. We are confident that HRL-BT offers a significant advance toward maximizing NPC survivability and efficiency in dynamic game AI.

한국어

현대 게임의 핵심 요소인 비 플레이어 캐릭터(NPC)의 지능적이고 유연한 행동 구현을 목표로 한다. 기존의 NPC AI 시스템인 유한 상태 기계(FSM)는 상태 급증 시 유지보수가 어렵고, 행동 트리(BT)는 고정된 우선순위로 인해 동적 환경에서 유연한 의사결정이 어렵다는 근본적인 한계가 존재한다. 이에 본 연구는 BT의 구조적 장점은 유지하면서 강화학습(RL)의 자율적 학습 능력을 결합한 계층적 강화학습 기반 행동 트리(HRL-BT)를 제안한다. 제안 모델은 '위험 요소가 존재하는 동적 환경에서의 자원 수집' 시나리오에서 기존 FSM 및 BT 모델과 성능을 비교 평가하는 방식으로 유효성을 검증했다. 실험 결과, FSM 모델은 환경 복잡도 증가에 따라 성공률이 급격히 저하되었고, BT 모델은 안정적이었으나 고정된 우선순위의 한계를 보였다. 반면, HRL-BT 모델은 가장 복잡한 환경(L05)에서 BT 대비 약 3배 높은 성공률(59.89%)을 기록하며 위험과 보상을 종합적으로 고려하는 지능적이고 유연한 의사결정 능력을 입증했다. 이를 통해 HRL-BT가 동적이고 복잡한 게임 환경에서 임무 수행 효율성과 생존성을 높여 NPC의 몰입도 향상 및 게임 AI 고도화를 위한 중요한 대안이 될 수 있음을 시사한다.

저자

• 임진혁 [ Jin-Hyuk Lim ]
• 김정이 [ Jung-Yi Kim ]

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  The Journal of the Convergence on Culture Technology (JCCT) [문화기술의 융합]

• 간기

  격월간

• pISSN

  2384-0358

• eISSN

  2384-0366

• 수록기간

  2015~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 600 DDC 700