Earticle

초록

영어

Artificial intelligence has been widely applied in games for over two decades. However, AI agents in coordination games, particularly in racing game environments, have not yet received substantial attention. This oversight is partly due to the complexities of compensating for imperfect partners without compromising the player’s performance and experience. To explore and unveil the potential of cooperative agents in racing games, we developed a car racing game with a specialized coordination environment by dividing car controls between two distinct agents. Our experiments evaluated the agents' ability to coordinate with their partners using various training methods and integrating partner-specific information. Specifically, we investigated the impact of training with sub-optimal partners and personalizing the agent to better coordinate with its partner. In our findings, the agents’ performance improved by 2% to 7% when trained with an imperfect partner, and up to 6.7% (3 points) increase was observed when the agent was personalized to its partner compared to generalizing to the entire distribution. The results suggest the potential of personalizing AI agents for enhanced coordination, particularly in racing games. This study is expected to contribute to the development of personalized AI agents in coordination games and improve interactions with human players.

한국어

인공지능(AI)은 20년 이상 게임 분야에 널리 적용되어 왔다. 그러나 협동(coordination) 게임에서의 AI 에이전트, 특히 경주 게임에서 협동에 대한 연구는 상대적으로 적은 주목을 받아왔다. 이러한 관심의 부족은 불완전한 파트너를 충분히 보완하면서 사용자의 게임 플레이 경험 과 수행 능력 을 저해하지 않아야 하는 복잡성에서 부분적으로 기인한다. 우리는 경주 게임에서 협동 에이전트 의 잠재력을 탐구하고 밝히기 위해, 자동차 컨트롤을 두 개의 서로 다른 에이전트로 나눔으로써 협동 환경을 갖춘 자동차 경주 게임을 개발하였다. 이어서 실험을 통해 다양한 훈련 방법과 파트 너의 정보를 활용하여 에이전트와 파트너의 협동을 평가하였다. 특히, 학습 시 서브-옵티멀 파트 너와 함께하는 것과 에이전트를 해당 파트너에게 맞게 개인화하는 것의 영향을 조사하였다. 연구 결과, 불완전한 파트너와 훈련했을 때 성능이 2%에서 7%까지 향상되었으며, 파트너에게 맞게 개 인화했을 때는 모든 파트너에게 일반화한 경우보다 최대 3점(6.7%)까지 성능이 향상하였다. 본 연구를 통해, AI 에이전트를 개인화하는 것의 잠재력을 보여주었고, 에이전트가 파트너의 불완전 함을 인지하는 것의 장점을 확인하였다. 본 연구가 협동 게임에서 개인화된 에이전트 연구에 이 바지하기를 기대한다.

목차

Abstract
1. Introduction
2. Related Work
3. Preliminaries
3.1 Proximal Policy Optimization (PPO)
3.2 Behavioral Cloning (BC)
3.3 Generative Adversarial Imitation earning (GAIL)
4. Design and Implementation
4.1 Unity with ML-agents
4.2 Racing Game Implementation
4.3 Agent configuration
4.4 Standardization of Rewards
5. Experiment and Evaluation
5.1 Utilizing the Suboptimal Partner
5.2 Personalized Agent VS General Agent
6. Conclusions
7. Acknowledgments
8. Reference
<국문초록>
<결론 및 향후연구>

키워드

저자

• Junhyeon Kwon [ 권준현 | Department of Computer Engineering, Hongik University ]
• Jun Park [ 박준 | Department of Computer Engineering, Hongik University ] Corresponding Author

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  컴퓨터게임및콘텐츠논문지(구 한국컴퓨터게임학회논문지) [Journal of Computer Games and Contents]

• 간기

  월간

• pISSN

  3091-7409

• eISSN

  3092-3638

• 수록기간

  2002~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 691 DDC 793