Earticle

스마트 팩토리는 IT와 OT 환경의 융합으로 제조 공정의 자동화 및 효율성을 향상시키고 있으나, 지능형 지속 위협과 같은 다계층 사이버 공격에 노출되고 있다. 기존 단일 계층 기반 보안 체계는 위와 같은 공격을 탐지하는 데 한계를 보인다. 본 논 문에서는 스마트 팩토리 OT 환경을 대상으로 네트워크 트래픽, 제조 공정 이상, 데이터 무결성을 통합 분석 후 대응하는 SOAR 기반 다계층 위협 탐지 프레임워크를 제안한다. 제안 프레임워크는 Tri-Engine AI 구조를 통해 이기종 데이터를 병렬 분석하고, 다계층 상관 분석을 통해 오탐을 최소화한다. 또한 SOAR와 연동하여 공정 가용성을 저해하지 않는 범위 내에서 자 동 대응을 수행한다. 실험 결과, 제안 프레임워크는 기존 단일 계층 탐지 모델 대비 재현율 98.7%를 달성하며, 높은 탐지 성능 을 보였다. 또한 SOAR 기반 자동 대응 시 1.29초의 평균 대응 시간을 기록하여, 다계층 분석에 따른 연산 오버헤드를 최소화 하고 단일 모델과 비슷한 수준의 실시간성을 유지함으로써 실제 OT 운영 환경에 적용 가능한 유효성을 입증하였다.

Smart factories enhance manufacturing automation through IT-OT convergence but are vulnerable to multi-layer cyber attacks such as Advanced Persistent Threats. Existing single-layer security systems have limitations in detecting such attacks. This paper proposes a SOAR-based multi-layer threat detection framework that analyzes network traffic, manufacturing process anomalies, and data integrity for smart factory OT environments. The framework employs a Tri-Engine AI structure for parallel analysis of heterogeneous data and minimizes false positives through multi-layer correlation. Experimental results demonstrate that the proposed framework achieves 98.7% recall rate, significantly outperforming single-layer models. With SOAR-based automated response, it records an average response time of 1.29 seconds, proving its real-time applicability to actual OT environments while minimizing computational overhead.

본 연구는 멀티모달 AI 모델의 보안 취약성을 분석하고 BLIP VQA 모델을 대상으로 단일 모달 백도어 공격의 효과를 실증적으로 평가하였다. 기존 연구와 달리 이미지 모달리티만 조작하는 백도어 공격도 성공할 수 있음을 입증하였으며 사전 학습에 사용되지 않은 데이터셋(VQAv2)으로 모델을 파인튜닝하더라도 백도어가 유지될 수 있음을 확인하였다. Poisoning Rate을 0.1%부터 10%까지 달리하여 실험한 결과, 극히 적은 양의 백도어 데이터만으로도 높은 백도어 성공률(BSR)을 달성할 수 있었으며 동시에 Clean Accuracy(CA)의 저하를 최소화하면서 공격 효과를 유지할 수 있음을 확인하였다. 또한, 정답 유형(Answer Type)에 따른 백도어 공격 영향을 분석한 결과, Binary 유형은 모든 Poisoning Rate에서 99% 이상의 BSR을 기록하여 백도어 공격에 가장 높은 취약성을 보였으며, Other 유형은 BSR이 1% 이하에서는 85.3%~96.2%로 낮게 유지되고 3% 이상에서만 99%에 근접하여 상대적으로 높은 공격 저항성을 보였다. 이를 통해 AI 공급망에서 파운데이션 모델의 백도어 공격 취약성을 경고하고 멀티모달 AI 모델에 대한 탐지 및 방어 기법 연구의 필요성을 강조한다.

This study analyzes the security vulnerabilities of multimodal AI models and empirically evaluates the effectiveness of unimodal backdoor attacks on the BLIP VQA model. Unlike previous work, we demonstrate that backdoor attacks manipulating only the image modality can still succeed. We also show that backdoors can persist even when the model is fine-tuned on an unseen dataset (VQAv2). By varying the poisoning rate from 0.1% to 10%, we find that a high Backdoor Success Rate (BSR) can be achieved with minimal poisoned data, while maintaining high Clean Accuracy (CA). Furthermore, our analysis on the impact of answer types reveals that the Binary type is the most vulnerable, achieving over 99% BSR across all poisoning rates. In contrast, the Other type maintains a lower BSR (85.3%-96.2%) at rates below 1%, and only reaches near 99% BSR at rates above 3%, indicating greater resistance. These findings highlight the backdoor vulnerabilities of foundation models in the AI supply chain and underscore the need for further research into detection and defense methods for multimodal AI systems.

대화형 AI 스피커가 보편화되면서 음성인식은 자율주행 상황에서의 중요한 차량-운전자 인터랙션 방식으로 인식되고 있다. 이 연구의 목적은 반자율주행 상황에서 음성뿐만 아니라 AI 캐릭터의 시각적 피드백을 함께 전달하는 멀티모달 인터랙션이 음성 단일 모드 인터랙션보다 사용자 경험 최적화에 효과적인지를 확인하는 것이다. 실험 참가자에게 주행 중 AI 스피커와 캐릭터를 통해 음악 선곡과 조정을 위한 인터랙션 태스크를 수행하게 하고, 정보 및 시스템 품질, 실재감, 지각된 유용성과 용이성, 그리고 지속 사용 의도를 측정하였다. 평균차이 분석 결과, 대부분의 사용자 경험 요인에서 시각적 캐릭터의 멀티모달 효과는 나타나지 않았으며, 지속사용 의도에서도 효과는 나타나지 않았다. 오히려, 정보품질 요인에서 음성 단일 모드가 멀티모달보다 효과적인 것으로 나타났다. 운전자의 인지적 노력이 필요한 반자율주행 단계에서는 멀티모달 인터랙션이 단일 모드 인터랙션에 비해 사용자 경험 최적화에 효과적이지 않았다.

As the interactive AI speaker becomes popular, voice recognition is regarded as an important vehicle-driver interaction method in case of autonomous driving situation. The purpose of this study is to confirm whether multimodal interaction in which feedback is transmitted by auditory and visual mode of AI characters on screen is more effective in user experience optimization than auditory mode only. We performed the interaction tasks for the music selection and adjustment through the AI speaker while driving to the experiment participant and measured the information and system quality, presence, the perceived usefulness and ease of use, and the continuance intention. As a result of analysis, the multimodal effect of visual characters was not shown in most user experience factors, and the effect was not shown in the intention of continuous use. Rather, it was found that auditory single mode was more effective than multimodal in information quality factor. In the semi-autonomous driving stage, which requires driver 's cognitive effort, multimodal interaction is not effective in optimizing user experience as compared to single mode interaction.

Introduction: Following the Republic of Korea electric power industry site-specific safety management system, this paper proposes a novel safety autonomous platform (SAP) architecture that can automatically and precisely manage on-site safety through ensemble artificial intelligence (AI) models. The ensemble AI model was generated from video information and worker's biometric information as learning data and the estimation results of this model are based on standard operating procedures of the workplace and safety rules. Methods: The ensemble AI model is designed and implemented by the Hadoop ecosystem with Kafka/NiFi, Spark/Hive, HUE, and ELK (Elasticsearch, Logstash, Kibana). Results: The functional evaluation shows that the main function of this SAP architecture was operated successfully. Discussion: The proposed model is confirmed to work well with safety mobility gateways to provide some safety applications.

본 연구는 사용자의 음성 패턴 분석과 텍스트 분류를 중심으로 이루어지는 한국어 감정 인식 작업을 개선하기 위해 Macaron Net 텍스트 모델의 결과와 MFCC 음성 모델의 결과 가중치 합을 분류하여 최종 감정을 판단하는 기존 82.9%였던 정확도를 텍스트 모델 기준 87.0%, Multi-Modal 모델 기준 88.0%로 개선한 모델을 제안한다. 해당 모델을 우울증 예방 플랫폼의 핵심 모델에 탑재하여 covid-19 팬데믹 이후 사회의 문제점으로 부상한 우울증 문제 해소에 기여 하고자 한다.