Earticle

초록

영어

Most　of the match-3 puzzle games supports automatic play using the MCTS algorithm. However, implementing reinforcement learning agents is not an easy job because it requires both the　knowledge of machine learning and the way of complex interactions within the development environment.　This study proposes a method in which we can easily design reinforcement learning agents and implement game play agents by applying PPO(Proximal Policy Optimization) algorithms. And we could identify the performance was increased about 44% than the conventional method. The tools we used are the Unity 3D game engine and Unity ML SDK.　The experimental result shows that agents became to learn game rules and make better strategic decisions as experiments go on. On average, the puzzle gameplay agents implemented in this study played puzzle games better than normal people.　It is expected that the designed agent could be used to speed up the game level design process.

한국어

매치 3 퍼즐 게임들은 주로 MCTS(Monte Carlo Tree Search) 알고리즘을 사용하여 자동 플레이를 구현 하였지만 MCTS의 느린 탐색 속도로 인해 MCTS와 DNN(Deep Neural Network)을 함께 적용하거나 강화학습 으로 인공지능을 구현하는 것이 일반적인 경향이다.　본 연구에서는 매치 3 게임 개발에 주로 사용되는 유니티3D 엔진과 유니티 개발사에서 제공해주는 머신러닝 SDK를 이용하여 PPO(Proximal Policy Optimization) 알고리 즘을 적용한 강화학습 에이전트를 설계 및 구현하여, 그 성능을 확인해본 결과, 44% 정도 성능이 향상되었음을 확인하였다. 실험 결과 에이전트가 게임 규칙을 배우고 실험이 진행됨에 따라 더 나은 전략적 결정을 도출 해 낼 수 있는 것을 확인할 수 있었으며 보통 사람들보다 퍼즐 게임을 더 잘 수행하는 결과를 확인하였다. 본 연구에서 설계 및 구현한 에이전트가 일반 사람들보다 더 잘 플레이하는 만큼, 기계와 인간 플레이 수준 사이의 간극을 조절 하여 게임의 레벨 디지인에 적용된다면 향후 빠른 스테이지 개발에 도움이 될 것으로 기대된다.

목차

요약
Abstract
1. 서론
2. 배경　연구
2.1 몬테카를로 트리 탐색
2.2 강화학습（Reinforcement Learning）
3. 설계　및　구현
3.1 Match 3 Game 구현
3.2 ML 에이전트 구성
4. 실험 및 결과
4.1 학습　환경
4.2 비교　데이터　설정
4.3 결과　분석
5. 결론
REFERENCES

키워드

저자

• 박대근 [ Dae-Geun Park | 공주대학교 게임디자인학과 석사과정 ]
• 이완복 [ Wan-Bok Lee | 공주대학교 게임디자인학과 교수 ] Corresponding Author

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  융합정보논문지(구 중소기업융합학회논문지) [Journal of Convergence for Information Technology]

• 간기

  월간

• pISSN

  2586-1816

• eISSN

  2586-4440

• 수록기간

  2011~2022

• 십진분류

  KDC 004 DDC 004