YOLO와 EfficientNetV2를 사용한 지능적 제품 탐지 및 추천을 위한 End-to-End AI 기반 서비스 모델 개발
End-to-End AI-Based Solution for Intelligent Product Detection and Recommendation Using YOLO and EfficientNetV2
Recently, there has been active research in marketing connecting video content consumption to product purchasing behaviors seamlessly. In this paper, we propose and implement a service technology that detects related products during YouTube video viewing and recommends similar products, enabling a smooth transition to online shopping. Our proposed technology utilizes YOLOv8 and a pre-trained EfficientNetV2, and overcomes the limitations of a single object detection model by adding a CNN model to address the issue of a limited number of detectable product classes. Additionally, the Weighted Box Fusion technique is applied to enhance the product classification performance of detectable products. The product detection performance of the test model showed a high mAP of up to 91.2%. Based on our results, we anticipate that the proposed technology can be applied to various video platforms where sales can be made during viewing, offering an end-to-end service.
한국어
최근, 동영상 콘텐츠 소비와 제품구매 행동이 자연스럽게 이어지는 마케팅 연구가 활발하게 이루어지고 있다. 본 논문에서는 유튜브의 영상 시청중에 자연스럽게 인터넷 쇼핑으로 이어질 수 있도록 관련 제품을 탐지하고 유사 제품을 추천해주는 서비스 기술을 제안하고 구현하였다. 제안한 기술은 YOLOv8과 미리 학습된 EfficientNetV2 를 사용하였고, 제한적으로 탐지할 수 있는 제품 클래스의 개수를 해결하기 위해 CNN모델을 추가함으로써 단일 객체 탐지 모델의 한계를 극복하였다. 또한 탐지할 수 있는 제품의 분류 성능을 높이기 위해 Weighted Box Fusion기법을 적용하였다. 테스트 모델에 사용된 제품 검출 성능 평가 결과에서 mAP는 최고 91.2%의 높은 검출 률을 보였다. 구현결과, 제안한 기술은 시청중에 판매가 이루어질 수 있는 다양한 동영상 플랫폼의 End-to-End 서비스에 활용될 수 있을 것으로 기대한다.
목차
요약 Abstract Ⅰ. 서론 Ⅱ. 관련연구 2.1 YOLO모델 2.2 원샷 러닝 2.3 EfficientNetV2 Ⅲ. 지능적 제품 탐지 및 추천모델 3.1 데이터 수집 및 전처리 3.2 객체 검출 및 성능 개선 3.3 이미지 유사도 기반 추천 시스템 Ⅳ. 실험결과 4.1 모델 성능 비교 4.2 서비스 구현 Ⅴ. 결론 REFERENCES
키워드
마케팅YOLOVisual SimilarityOne-shot learningEfficientNetEnd-to-End 서비스MarketingYOLOVisual SimilarityOne-shot learningEfficientNetEnd-to-End Service
저자
김노아 [ Ro-Ah Kim | 숭실대학교 산업정보시스템공학과 학부생 ]
김보담 [ Bo-Dam Kim | 연세대학교 응용통계학과 학부생 ]
서혜현 [ Hye-Hyun Seo | 이화여자대학교 통계학과 학부생 ]
신동철 [ Dong-Cheol Shin | 고려대학교 통계학과 대학원생 ]
홍성민 [ Sung-Min Hong | 서울과학기술대학교 전기정보공학과 졸업생 ]
유길상 [ Gil-Sang Yoo | 고려대학교 정보창의교육연구소 교수 ]
Corresponding Author
Ever since next generation convergence technology became one of the most important industries in the nation, computing professionals have encountered a growing number of challenges. Along with scholars and colleagues in related fields, they have gathered in avariety of forums and meetings over the last few decades to share their knowledge, experiences and the outcome of their research. These exchanges have led to the founding of the International Next-generation Convergence technology (INCA) on December 1, 2015. INCA was registered as an incorporated association under the Ministry of Information and Communications. The main purpose of the organization is to improve our society by achieving the highest capability possible in next generation convergence technology.
간행물
간행물명
차세대융합기술학회논문지 [The Journal of Next-generation Convergence Technology Association]