Earticle

초록

한국어

다중 에이전트 강화 학습(Multi-Agent Reinforcement Learning, MARL)은 에이전트가 시행착오를 통해 최적 의 정책을 상호 작용하고 학습하는 기계학습의 한 분야로, 여러 에이전트가 동시에 동일한 환경에서 상호 작용하고 학습하는 복잡한 시나리오를 처리한다. 이러한 복잡한 상호작용을 분석하고 이해하기는 어려운 일이며, 기존의 분석 방법으로는 이러한 복잡성을 충분히 분석에 반영하고 해석하는 데 한계가 있다. 이러한 문제를 해결하기 위해 우리 는 MARL 환경에서 에이전트의 정책과 상호작용을 시각화하고 분석할 수 있는 시각화 시스템인 MARLViz를 제공 한다. 이 시스템은 다양한 환경에서의 에이전트를 산점도로 나타내어 행동 차이를 요약적으로 보여주고 에이전트의 행동 패턴을 공간상에 시각화하는 열지도를 통해 사용자가 에이전트 간 복잡한 상호작용 패턴을 이해하고 비교할 수 있도록 설계되었다. 또한, MARLViz를 통해 에이전트들의 행동을 이해하기 위한 과업 수행을 효과적으로 수행할 수 있음을 보이기 위해 대표적인 분석 시나리오를 사례 연구의 형식으로 제시한다.

영어

Multi-Agent Reinforcement Learning (MARL) is a subfield of machine learning in which agents interact and learn optimal policies through trial and error in a shared environment, handling complex scenarios where multiple agents interact simultaneously. Analyzing and understanding these intricate interactions is a challenging task, and existing methods often fall short of adequately capturing and interpreting this complexity. To address this issue, we present MARLViz, a visualization system designed to visualize and analyze agent policies and interactions in MARL environments. MARLViz represents agents in various environments using scatterplots to provide a summary of behavioral differences and visualizes agents' behavioral patterns on a spatial heatmap, enabling users to understand and compare complex interaction patterns among agents. Furthermore, we demonstrate the effectiveness of MARLViz in comprehending agents' behavior through a case study, showcasing its capability in facilitating the understanding of task performance in MARL environments.

목차

요약
Abstract
1. 서론
2. 관련 연구
3. 데이터 및 모델 명세
3.1 데이터 명세
3.2 모델 명세
4. 사용자 과업 명세
4.1 과업 1 – 다수의 에이전트의 행동 차이를 요약적으로 비교
4.2 과업 2 – 환경 및 보상의 설정 사항 확인
4.3 과업 3 – 구체적인 에이전트 행동 패턴 및 상호작용 방식 이해
5. 오토인코더를 활용한 에이전트 특성 추출
6. 시각화 및 사용자 인터페이스
6.1 개요 시각화 – 다수의 에이전트 패턴 요약
6.2 설정 뷰 – 선택된 에이전트들의 설정 시각화
6.3 시나리오 뷰 – 시나리오별 행동 및 보상 분포시각화
6.4 상호작용 뷰 – 특정 시나리오에서의 에이전트의구체적인 행동 패턴 파악
7. 사례 연구
8. 결론 및 향후 연구
참고문헌

저자

• 이창희 [ Changhee Lee | 한국외국어대학교 글로벌캠퍼스 컴퓨터공학부 ]
• 이정민 [ Jeongmin Rhee | 한국외국어대학교 글로벌캠퍼스 바이오메디컬공학부 ]
• 신동화 [ DongHwa Shin | 광운대학교 컴퓨터정보공학부 ] 교신저자

참고문헌