Earticle

본 연구는 고난도 주차 환경에서 효과적인 경로계획을 지원하기 위해 강화학습을 활용한 효율적 중간 목표 도출을 통한 최적의 경로계획 알고리즘을 제안한다. 주차 공간이 넓고 장애 물이 적은 경우, 단순한 경로계획 알고리즘으로도 최적의 경로를 생성할 수 있다. 하지만 차량 의 논홀로노믹 시스템으로 인해 복잡하고 좁은 환경에서는 장애물 등으로 인해 최적 경로를 보장하기 어렵다. 이를 해결하기 위해, 불필요한 탐색을 최소화하고 최적 경로로의 탐색을 유 도하는 중간 목표를 제안한다. 중간 목표는 하이브리드 A* 알고리즘의 휴리스틱 비용 계산의 기준점으로 활용되며, 강화학습을 통해 주차 환경에서 연산 효율성과 경로 품질을 극대화할 수 있는 지점으로 도출된다. 이러한 접근은 기존 휴리스틱 비용 산정의 비효율성을 극복하고, 최적 경로의 주요 지점을 효과적으로 탐색할 수 있도록 한다.

This paper proposes an optimal path planning algorithm designed to support effective path planning in challenging parking environments using reinforcement learning to derive efficient sub-goals. Although simple path planning algorithms can generate optimal paths in spacious parking environments with few obstacles, it becomes challenging to ensure optimal paths in complex and narrow environments because of the nonholonomic system of vehicles. The paper addresses this issue by suggesting sub-goals that can serve as key points for optimal paths. Sub-goals minimize unnecessary searches; and guide the path towards the optimal solution. Sub-goal were derived through reinforcement learning and used as heuristic cost criteria in the Hybrid A* algorithm to maximize computational efficiency and path quality. This approach overcomes the inefficiencies of conventional heuristic cost and facilitates effective explorations of the key points in the optimal path.

현재 국내에서는 자율주행차량의 상용화를 목표로 다양한 노력을 기울이고 있으며 자율주 행차량이 운영 가이드라인에 따라 안전하고 신속하게 주행할 수 있는 연구들이 대두되고 있 다. 본 연구는 자율주행차량의 경로탐색을 미시적인 관점으로 바라보며 Deep Q-Learning을 통 해 자율주행차량의 차로변경을 학습시켜 효율성을 입증하고자 한다. 이를 위해 SUMO를 사용 하였으며, 시나리오는 출발지에서 랜덤 차로로 출발하여 목적지의 3차로까지 차로변경을 통해 우회전하는 것으로 설정하였다. 연구 결과 시뮬레이션 기반의 차로변경과 Deep Q-Learning을 적용한 시뮬레이션 기반의 차로변경으로 구분하여 분석하였다. 평균 통행 속도는 Deep Q-Learning을 적용한 시뮬레이션의 경우가 적용하지 않은 경우에 비해 약 40% 향상되었으며 평균 대기 시간은 약 2초, 평균 대기 행렬 길이는 약 2.3대 감소하였다.

Several efforts in Korea are currently underway with the goal of commercializing autonomous vehicles. Hence, various studies are emerging on autonomous vehicles that drive safely and quickly according to operating guidelines. The current study examines the path search of an autonomous vehicle from a microscopic viewpoint and tries to prove the efficiency required by learning the lane change of an autonomous vehicle through Deep Q-Learning. A SUMO was used to achieve this purpose. The scenario was set to start with a random lane at the starting point and make a right turn through a lane change to the third lane at the destination. As a result of the study, the analysis was divided into simulation-based lane change and simulation-based lane change applied with Deep Q-Learning. The average traffic speed was improved by about 40% in the case of simulation with Deep Q-Learning applied, compared to the case without application, and the average waiting time was reduced by about 2 seconds and the average queue length by about 2.3 vehicles.

In this paper, a new Complete Coverage Path Planning (CCPP) scheme is proposed which combines path planning and dynamic tracking for robot operating system-based robots. For the path planning, firstly a sub-area division algorithm is considered to decompose the occupancy map according to the wall or obstacle position after simultaneous localization and mapping process. For each sub-area, an “S” shape path planning is employed, and then a Bidirectional A-star connects them. Additionally, the dynamic tracking ensures that the robot moves continuously. Simulation results show that the coverage ratio of the planning path is improved as 98% by the proposed scheme.

In this paper, we propose a soft actor?critic (SAC) algorithm with hindsight experience replay (HER), called SACHER, which is a class of deep reinforcement learning (DRL) algorithm. SAC is an off-policy model-free DRL algorithm that outperforms earlier DRL algorithms in terms of exploration and robustness. However, in SAC, maximizing the entropy-augmented objective degrades the optimality of learning outcomes. We propose SACHER to improve the learning performance of SAC. We apply SACHER to the path planning and collision avoidance control of unmanned aerial vehicles (UAVs). We demonstrate the effectiveness of SACHER in terms of the success rate, learning speed, and collision avoidance performance of UAV operation.

Knowledge Representation and Reasoning (KR & R) has become one of the promising fields of Artificial Intelligence. KR is dedicated towards representing information about the domain that can be utilized in path planning. Ontology based knowledge representation and reasoning techniques provide sophisticated knowledge about the environment for processing tasks or methods. Ontology helps in representing the knowledge about environment, events and actions that help in path planning and making robots more autonomous. Knowledge reasoning techniques can infer new conclusion and thus aids planning dynamically in a non-deterministic environment. In the initial sections, the representation of knowledge using ontology and the techniques for reasoning that could contribute in path planning are discussed in detail. In the following section, we also provide comparison of various planning domain modeling languages, ontology editors, planners and robot simulation tools.

The efficient deployment of robot-based manufacturing systems is frequently hindered by the substantial time required for programming collision-free robot paths during the commissioning process. This challenge involves intensive tasks such as teach-in, offline programming, and subsequent path optimization. To dramatically accelerate this critical stage, the industry needs an automatic and intelligent path planning system. This work introduces a novel system designed for the autonomous path planning of industrial robots. We conduct an explicit comparison between samplingbased methods such as probabilistic roadmaps (PRM) and rapidly exploring random Trees (RRT), and computational intelligence (CI) based methods, particularly genetic algorithms. Our findings demonstrate the potential for these advanced techniques to drastically reduce robot deployment time.

자율주차의 요소 중 하나인 경로계획(Path-planning)을 제안한다. 실제 주차장을 참고하여 수 직주차와 수평주차로 주차장의 차로 너비, 주차 공간의 너비, 길이 등 주차장 구조와 주차 환경 을 다양하게 설정한다. 출발점와 도착지점 등 각도와 환경을 다양하게 설정하여 경로데이터를 수집하고 수집한 데이터를 Deep Learning model에 넣어 학습시켜 자동주차경로계획 모델을 제 안한다. 분석결과, 기 알고리즘(Hybrid A-star, Reeds-Shepp Curve)과 딥러닝 모델 모두 장애물에 충돌하지 않고 비슷한 경로를 생성하지만, 거리와 소모시간이 각각 0.59%, 0.61% 감소하여 효 율적인 경로가 생성되었다. 또한, Switching point도 1.3개에서 1.2개로 감소하여 직진과 후진을 최대한으로 줄여 운전자의 피로를 줄일 수 있을거라 생각된다. 마지막으로 경로생성시간은 42.76% 감소하여 효율적이고 신속한 경로생성이 가능하여 향후 자율주행 중 자율주차의 경로 계획생성에 활용될 수 있으며, 차량작도에 따라 이동하는 주차로봇의 경로생성에도 활용될 수 있을 것으로 보인다.

Several studies have focused on developing the safest and most efficient path from the current location to the available parking area for vehicles entering a parking lot. In the present study, the parking lot structure and parking environment such as the lane width, width, and length of the parking space, were vaired by referring to the actual parking lot with vertical and horizontal parking. An automatic parking path planning model was proposed by collecting path data by various setting angles and environments such as a starting point and an arrival point, by putting the collected data into a deep learning model. The existing algorithm(Hybrid A-star, Reeds-Shepp Curve) and the deep learning model generate similar paths without colliding with obstacles. The distance and the consumption time were reduced by 0.59% and 0.61%, respectively, resulting in more efficient paths. The switching point could be decreased from 1.3 to 1.2 to reduce driver fatigue by maximizing straight and backward movement. Finally, the path generation time is reduced by 42.76%, enabling efficient and rapid path generation, which can be used to create a path plan for autonomous parking during autonomous driving in the future, and it is expected to be used to create a path for parking robots that move according to vehicle construction.

나고르노-카라바흐 전쟁 등 현대전에서 정찰용 드론의 군사적 효용성은 이미 입증되었다. 하지만, 정찰 드론의 실시간 경로계획 또는 자율주행 기술은 높은 복잡도로 인하여 여전히 해결하기 어려운 문제이다. 환경과 효과적인 실시간 상호작용을 위해서는 정찰 드론이 수집하는 센서의 유형에 대한 고려도 필요하다. 본 연구에서는 환경과 상호작용을 통해 에이전트가 스스로 학습하여 연속적인 의사결정을 하는 방법론인 심층 강화학습 기법을 활용하여 경로계획 문제를 해결하고자 하였다. 정찰드론의 수집정보로 정찰목표의 위치, 드론의 현재위치와 드론 의 센서로 구분하였으며 드론의 센서는 카메라와 라이다 2가지 유형으로 구분하여 실험을 진행하였다. 본 연구에 서는 우수한 성능의 정책기반 심층 강화학습 기법인 PPO(Proximal Policy Optimization) 알고리즘을 활용하였으 며 실험 환경은 3D지능형 게임 환경을 구축할 수 있는 플랫폼인 Unity를 이용하여 구축하였다. 200만회의 에피스 드 동안 학습한 결과 두 유형의 정찰드론 모두 100% 임무성공률 등 높은 성능을 보였으며 이를 통해 심층 강화 학습을 통한 적대적 위협에서 정찰 드론의 경로계획 임무수행 가능성을 확인했다.

The military utility of reconnaissance drone has been proven in modern warfare such as the Nagorno-Karabakh War. However, path planning of reconnaissance drones is still a difficult to solve due to high complexity. Real-time interaction requires consideration of the types of sensor data that drone collect. In this study, we tried to solve using the deep reinforcement learning, which is a methodology in which the agent learns by itself through interaction with the environment. The collected information of the drone was divided into the location of the target, the current location and the sensor data of the drone. In this study, the PPO algorithm, a policy-based deep reinforcement learning with excellent performance, was used, and the experimental environment was built using Unity, a platform that can build a 3D game environment. As a result of learning for 2 million episodes, both types of reconnaissance drones showed high performance such as 100% mission success rate, and through this, the possibility of path planning missions of reconnaissance drones in hostile threats was confirmed through deep reinforcement learning.

Nowadays, a hypertension becomes the common disease and accounts for larger percentage of interest in the medical academic field. One of the most common blood pressure measurement technique is the non-invasive method. When a larger cuff is used by comparing to the upper-arm circumference of the subject, the blood pressure is measured lower than expected. Conversely, the value obtained by it is higher than normal case if a smaller cuff size is used. In this experimental study, 400 pairs of simultaneous blood pressure measurements on 50 subjects were obtained by the auscultatory and the oscillometric methods respectively by using three kinds of cuff sizes(Small, Medium and Large). Experimental identification for blood pressure differences due to the cuff size was proceeded. Also, cuff size standard for Korean was presented to obtain more accurate blood pressure according to the arm circumferences. As the result of this study, the selection of the appropriate cuff size was found to be very important because the main factors influencing the accuracy of the oscillometric blood pressure measurement was the cuff size by depending on the arm circumference of the subject.

본 논문에서는 로봇분야에서 사용되고 있는 경로계획 알고리즘에 대한 리뷰를 통하여 특징을 살펴보고자 한다. 경로계획 방법으로 셀 분해 방식, 로드맵 접근방식, 포텐셜 필드 방식을 살펴본다. 각 각의 장단점을 통하여 최적의 경 로계획에 대한 개선방향을 살펴보고자 한다.

This paper is a short review of path planning algorithm of mobile robot society. There are three big kinds of algorithm, cell decomposition method, robotmap method, and potential field method, are described. This review can present further direction of improvement of optimal path planning algorithm through merits and demerits.

This research is to select a path planning algorithm to maximize survivability for Unmanned Aerial Vehicle(UAV). An UAV is a powered pilotless aircraft, which is controlled remotely or autonomously. UAVs are currently employed in many military missions(surveillance, reconnaissance, communication relay, targeting, strike etc.) and a number of civilian applications(communication service, broadcast service, traffic control support, monitoring, measurement etc.). In this research, a mathematical programming model is suggested by using MRPP(Most Reliable Path Problem) and verified by using ILOG CPLEX. A path planning algorithm for UAV is selected by comparing of SPP(Shortest Path Problem) algorithms which transfer MRPP into SPP.

자율주행 기술은 기초적인 연구 단계를 넘어 상용화 초입 단계에 접어들었으며, 최근에는 자율주행 기술과 정보통신 기술 기반 지능형교통시스템을 접목한 모빌리티 서비스들이 활발 히 개발되고 있다. 본 연구는 모빌리티 기반 서비스 중 하나인 수요응답형 자율배송 서비스의 운영 효율성 향상을 위해 다중 모빌리티 전역경로를 생성하는 것으로, 지능형교통시스템을 통 해 수집한 교통소통정보와 서비스 사용자 수요를 고려하여 최단 시간 내에 자율배송을 완료할 수 있는 혼합 정수 최적화 기반 전역경로 생성 시스템이 개발되었다. 개발된 전역경로 생성 시스템은 교통소통정보 갱신 또는 서비스 사용자의 추가 수요 발생에 따라 전역경로를 갱신하 며 상암 자율주행 테스트베드의 교통소통정보를 활용하여 수요응답형 자율배송 서비스 운영 이 가능함이 확인되었다. 또한, 기존 유인 배송 서비스와 비교분석을 통해 운영 비용 절감과 물품 배송 및 공차 시간이 단축이 확인되었다.

Autonomous driving technologies have entered the initial stage of commercialization. Recently, mobility services that combine autonomous driving technologies and information and communication technologies based intelligent transportation systems are being actively developed. This study develops a global path planning system that considers traffic information and user demands to generate the shortest time paths for autonomous delivery services using Mixed Integer Programming. While providing the autonomous delivery services, the generated paths are updated recursively according to traffic information updates or additional demands. The developed global path planning system was verified by simulations with traffic information in the Sangam autonomous driving test-bed, and comparative analysis with existing manned delivery services shows that operating costs, product delivery time, and empty driving time were reduced.

최근 군사, 산업 등 다양한 분야에서 자율 이동 로봇이 활용되고 있다. 자율 이동 로봇이 특정 임무를 수행하는 데 있어 경로 계획은 핵심적인 역할을 한다. 오랜 기간 동안 A*, Rapidly exploring Random Tree 등 많은 경로 탐색 알고리즘이 연구되었다. 하지만 과거에 연구된 알고리즘들은 짧은 시간 내에 장애물과 충돌이 일어나지 않는 최단 경로를 찾는 데 애로사항이 존재한다. 이를 해결하기 위해 최근 활발하게 연구되고 있는 심층 신경망을 사용하여 경로를 생성하는 연구 사례들이 늘어나고 있다. 심층 신경망은 비선형 함수를 근사하는데 좋은 결과를 보여주어 경로 계획에 필요한 함수의 근사에 사용될 수 있다. 다양한 딥러닝 모델이 비선형 함수를 근사하지만 특히 예측 모델을 사용하는 것이 아닌 생성적 모델을 사용하는 것으로 원하는 경로를 좀 더 효율적으로 생성할 수 있을 것으로 예측된다. 본 논문에서는 컴퓨터 비전 분야에서 성공적인 결과를 보여준 Generative Adversarial Network를 통해 전역 경로를 이미지로 표시하는 데 성공한 사례를 제시한다. 또한 에이전트의 행동 제어에서 좋은 성과를 보여준 심층 강화학습을 사용해 자율 이동 로봇의 지역 경로 계획에 성공한 연구를 소개한다.