Accurate three-dimensional localization of UAVs is a core technology for safe operation and autonomous control of unmanned aerial systems. This study proposes a multimodal sensor-based UAV detection and tracking system combining RGB cameras and LiDAR. By utilizing 2D vision and 3D point cloud information in a complementary manner, we implemented an auxiliary recovery mechanism that re-searches LiDAR points through 2D bounding box-based region information in 3D object detection failure scenarios. In the 2D-3D fusion pipeline, detection results from 2D are utilized as prior information to constrain the search range in 3D space, improving localization accuracy in detection failure regions. As a result, mean Average Precision (mAP) improved from 0.48 to 0.65 at an IoU threshold of 0.7, and tracking performance achieved an ID F1 score of 72.51%, indicating improved ID maintenance even during sharp directional changes. This system achieves a horizontal positional accuracy of approximately 0.8 m and a 3D RMSE of approximately 1.45 m, and can be utilized in various UAV application fields.
한국어
무인기의 정확한 3차원 위치 추정은 무인 항공 시스템의 안전한 운용과 자율 제어를 위한 핵심 기술이다. 본 연구는 RGB 카메라와 LiDAR를 결합한 멀티모달 센서 기반 무인기 탐지 및 추적 시스템을 제안한다. 2D 비전과 3D 포인트클라우드 정보를 상호 보완적으로 활용하여, 3D 객체 탐지 실패 구간에서 2D 바운딩 박스 기반 영역 정보를 통해 LiDAR 포인트를 재탐색하는 보조 복원 메커니즘을 구현하였다. 2D-3D 융합 파이프라인에서 2D 탐지 결과를 사전 정보로 활용하여 3D 공간상의 탐색 범위를 제한함으로써 3D 탐지 실패 구간에서의 위치 추정 정확도를 향상시켰다. 그 결과 탐지 정확도는 IoU 0.7 기준 mAP가 0.48에서 0.65로 향상되었으며, 추적 성능은 ID F1 점수 72.51%를 달성하여 급격한 방향 전환 상황에서도 ID 유지 성능이 개선됨을 확인하였다. 본 시스템은 수평 방향 약 0.8m, 3차원 평균 약 1.45m의 위치 정확도를 달성하여 다양한 무인기 응용 분야에서 활용 가능하다.
목차
요약 Abstract 1. 서론 2. 관련 연구 2.1 3D 포인트 클라우드 기반 객체 검출 알고리즘 2.2 주파수 변조 연속파 기반 LiDAR 시스템 2.3 복셀 기반 실시간 3D 객체 검출 2.4 카메라-LiDAR 센서 퓨전 기반 객체 검출 3. 제안 방법 3.1 3D 멀티모달 객체 탐지 3.2 2D 비전 기반 보조 복원 시스템 3.3 다중 객체 추적 알고리즘 4. 실험 4.1 실험 환경 및 구현 세부사항 4.2 무인기 탐지 성능 4.3 무인기 위치 추정 정확도 5. 결론 Acknowledgements 참고문헌