부품 코드 검색을 고려한 하이브리드 RAG 기반 전동 청소장비 정비 매뉴얼 질의응답 시스템 구현 및 검색 성능 평가
Implementation and Retrieval Performance Evaluation of a Hybrid RAG-based Question Answering System for Maintenance Manuals of Electric Cleaning Equipment
Maintenance manuals for electric cleaning equipment are dominated by drawings and parts tables, and the correct answer often hinges on code-like rare tokens such as part numbers and model names. Because such tokens collapse together in a dense embedding space, a purely semantic RAG system frequently retrieves an incorrect page that merely contains a similar code. This paper implements the manual-based question-answering system designed in our previous work on a fully on-premises stack, and incrementally introduces OCR recovery of scanned documents, reciprocal rank fusion of BM25 lexical retrieval with dense vector retrieval, and cross-encoder re-ranking, measuring the contribution of each stage. On a 67-item evaluation set (55 answerable items) that was automatically generated and then double-screened by rules and an LLM, retrieval metrics showed that the page-level hit rate (Hit@10) improved from 43.6% for dense-only retrieval to 78.2% with hybrid retrieval and 87.3% with re-ranking, while the mean reciprocal rank improved from 0.343 to 0.698.
한국어
전동 청소장비의 정비 매뉴얼은 도면과 부품표의 비중이 높고, 부품 번호와 모델명 같은 코드형 토큰이 답을 좌우한다. 이러한 토큰은 밀집 벡터 공간에서 서로 뭉쳐 유사한 코드가 적힌 다른 페이지를 불러오기 때문에, 의미 검색만으로 구성한 RAG 시스템은 근거 페이지를 찾지 못하는 경우가 많다. 본 논문은 선행 연구에서 설계한 매뉴얼 질의 응답 시스템을 온프레미스 스택으로 구현하고, 스캔본 문서의 OCR 보강, BM25 어휘 검색과 밀집 벡터 검색의 역순위 융합(RRF), 교차 인코더 재정렬을 차례로 도입하여 각 단계의 기여도를 정량 측정하였다. 자동 생성 후 규칙과 LLM으로 이중 검수한 67문항 평가셋(답 있음 55문항)을 대상으로 검색지표를 산출한 결과, 정답 페이지 포함률(Hit@10)은 벡터 단독 43.6%에서 하이브리드 78.2%, 재정렬 적용 시 87.3%로 향상되었고, 평균 역순위는 0.343에서 0.698로 개선되었다.
목차
요약 Abstract 1. 서론 2. 관련 연구 3. 시스템 설계 및 구현 3.1 전체 구조 3.2 문서 지식화와 OCR 보강 3.3 하이브리드 검색과 코드 토크나이저 3.4 교차 인코더 재정렬 3.5 답변 생성과 환각 억제 3.6 전체 처리 절차 4. 평가 방법 4.1 평가 데이터셋 구축과 검수 4.2 평가 지표 4.3 실험 환경 5. 실험 결과 및 분석 5.1 검색 구성별 성능 비교 5.2 부품 코드 문항 분석 5.3 OCR 보강과 검색 범위 5.4 지연 시간과 운용 고찰 5.5 타당성 위협 6. 결론 Acknowledgement 참고문헌