Earticle

초록

한국어

해상 환경은 국제 무역, 운송, 자원 개발 및 해양 관광 등 다양한 산업 분야에서 경제적으로 중요한 역할을 담당하고 있다. 이러한 경제적·산업적 중요성으로 인해 자율 운항 선박 및 자율 운항 솔루션에 대한 관심이 급증하고 있다. 해상 환경은 일반적인 데이터와는 차별화된 특수한 정보들을 다수 포함하고 있으나, 이러한 해상 특화 데이터를 효 과적으로 처리할 수 있는 모델 및 시스템은 여전히 제한적이다. 본 연구에서는 이러한 한계를 극복하기 위해 해상 교통상의 멀티모달 종합 추론 항해 지원 시스템을 제안한다. 제안된 시스템은 실제 항해사가 선박을 운항하는 방식 과 유사하게 AIS(Automatic Identification System) 데이터 기반의 해상 지도 동영상과 전방 카메라 항해 동영 상을 동시에 처리하며, 항해 법규를 고려한 의사결정을 지원한다. 또한 다양한 모달리티의 정보를 상호 보완적으로 활용하여 해상 환경의 특수성을 반영한 종합적 추론 체계를 구축함으로써, 보다 안전하고 효율적인 항해 지원 솔루 션을 제공할 수 있다.

영어

The maritime environment plays an economically important role in many industries, including international trade, transportation, resource exploitation, and marine tourism. This economic and industrial importance has led to a surge in interest in autonomous ships and autonomous navigation solutions. The maritime environment contains a lot of specialized information that is different from general data, but there are still limited models and systems that can effectively process such maritime-specific data. To overcome these limitations, this study proposes a multimodal comprehensive reasoning navigation support system for maritime traffic. The proposed system simultaneously processes nautical map videos and front camera navigation videos based on AIS (Automatic Identification System) data, and supports decision-making considering navigation laws and regulations. By complementarily utilizing information from various modalities to build a comprehensive reasoning system that reflects the specificity of the maritime environment, it can provide a safer and more efficient navigation support solution.

목차

요약
Abstract
1. 서론
2. 관련 연구
2.1 Large Language Model(LLM)
2.2 Multi-Modal Large Language Model(MLLM)
2.3 도메인 특화 LLM
3. 제안 방법
3.1 항해술 및 법령 질의응답
3.2 전방 카메라 항해 동영상 질의 응답
3.3 해상 지도 동영상 질의 응답
3.4 종합추론 항해 지원 시스템
4. 실험
4.1 실험 데이터
4.2 실험 세팅
4.3 시스템 구성 모델의 정량적 결과
4.4 시스템 정성적 결과
5. 결론
Acknowledgements
참고문헌

저자

• 박효빈 [ Hyobin Park | 국립한밭대학교 정보통신공학과 ]
• 정진욱 [ Jinwook Jung | 국립한밭대학교 정보통신공학과 ]
• 장하윤 [ Hayun Jang | 국립한밭대학교 정보통신공학과 ]
• 이상우 [ Sangwoo Lee | ANTLAB Corp. ]
• 박세길 [ Sekil Park | 선박해양플랜트연구소 ] 공동교신저자
• 최동걸 [ Dong-Geol Choi | 국립한밭대학교 정보통신공학과 ] 공동교신저자

참고문헌