Earticle

초록

영어

Multimodal Artificial Intelligence(Multimodal AI) enables the quantitative analysis of user behavior by integrating audio and visual data, and its applicability in real-time service environments is rapidly expanding. However, systems that combine speech recognition and vision-based behavior analysis face challenges in real-time deployment due to high computational costs and processing latency. In this study, we design a real-time multimodal AI-based behavior analysis and feedback system targeting presentation scenarios. To address latency issues arising from the integration of Whisper and MediaPipe, we construct an asynchronous distributed architecture that separates a Spring Boot-based service server from a FastAPI-based AI analysis server. We apply a multiprocessing and streaming-based pipeline reducing the average processing time from 26.01 seconds to 19.51 seconds, achieving approximately 25% improvement compared to sequential processing. Furthermore, we employ a lightweight WebSocket communication structure that transmits only client-side landmark coordinates, minimizing network overhead and improving real-time processing stability. The proposed system demonstrates the feasibility of deploying computationally intensive multimodal AI in real-time web services, and we confirm its potential for real-time behavior correction by applying it to cognitive-behavioral training scenarios aimed at inducing behavioral change.

한국어

멀티모달 인공지능(Multimodal AI)은 음성 및 영상 데이터를 통합적으로 처리하여 사용자 행동을 정량적으로 분석할 수 있는 기술로, 실시간 서비스 분야에서 활용 가능성이 확대되고 있다. 그러나 음성 인식과 영상 기반 행동 분석을 결합한 시스템은 높은 연산 비용과 처리 지연 문제로 인해 실시간 환경 적용에 한계를 가진다. 본 연구에서는 발표 상황을 대상으로 한 멀티모달 AI 기반 실시간 행동 분석 및 피드백 시스템을 설계하였다. Whisper와 MediaPipe 통합 과정에서 발생하는 지연 문제를 해결하기 위해 Spring Boot와 FastAPI를 분리한 비동기 분산 아키텍처를 구축하였으며, 멀티프로세싱과 스트리밍 기반 파이프라인을 적용하여 평균 처리 시간을 26.01초에서 19.51초로 단축하고 순차 처리 대비 약 25%의 성능 개선을 확인하였다. 또한 클라이언트에서 랜드마크 좌표만 전송하는 WebSocket 기반 경량 통신 구조로 네트워크 부하를 최소화하고 실시간 처리 안정성을 확보하였다. 제안 시스템은 고연산 멀티모달 AI의 실시간 웹 서비스 적용 가능성을 보여주며, 특히 본 연구에서는 이를 인지·행동 변화 유도를 위한 훈련 시나리오에 적용하여 실시간 처리 환경에서의 적용 가능성을 확인하였다.

저자

• 노주희 [ Ju-Hee Noh ]
• 김정이 [ Jung-Yi Kim ]

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  The Journal of the Convergence on Culture Technology (JCCT) [문화기술의 융합]

• 간기

  격월간

• pISSN

  2384-0358

• eISSN

  2384-0366

• 수록기간

  2015~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 600 DDC 700