Earticle

초록

영어

Commercial LLMs focus primarily on general-domain knowledge, limiting their capacity to comprehend the deep expertise and complex visual information required in highly specialized science and technology(S&T) fields, particularly across the 2.8 million+ academic papers published annually. To bridge this gap, we propose an integrated framework that automatically generates and validates image-text multimodal training data for complex S&T documents. By combining Knowledge Graph (KG)-based structural management, Active and Reinforcement Learning-driven quality enhancement, and a fully automated pipeline, our framework minimizes human intervention to establish a robust foundation for high-quality, domain-specialized MLLM datasets. This approach drastically cuts data curation costs compared to manual workflows while ensuring logical consistency via KGs to advance MLLM performance. Experimental results on Qwen2.5-VL (3B) confirm the framework's efficacy: our dataset significantly boosted the baseline GPT-4 Score from 37.6 to 81.4 (+43.8 points) and enhanced accuracy from 43.6% to 84.7% (+41.1%p).

한국어

현재 상용화된 대부분의 LLM들은 일반 도메인 지식에 초점이 맞춰져 있어, 과학기술과 같은 고도로 전문화된 분야에서 요구되는 깊이 있는 지식과 복잡한 시각적 정보를 제대로 이해하고 처리하는 데 상당한 한계를 보이고 있다. 또한 매년 280만 건 이상 발표되는 학술 논문 속의 복잡한 시각적 정보와 전문 지식을 효과적으로 처리하는 데에도 제약이 있다. 본 연구는 이러한 문제점들을 해결하기 위해 과학기술 분야의 복합 문서에 대한 이미지-텍스트 멀티모달 학습데이터를 자동으로 생성하고 품질을 검증하는 통합 프레임워크를 제안한다. 특히 Knowledge Graph를 기반으로 한 체계적인 문서 구조 관리, Active Learning 및 강화학습 기반 품질 개선, 그리고 완전 자동화된 데이터 생성 파이프라인 구축을 통해 사람의 개입을 최소화하면서도 고품질의 과학기술 특화 MLLM 학습 데이터셋을 생성할 수 있는 기반을 제공한다. 본 프레임워크는 기존 수작업 대비 데이터 구축 비용을 획기적으로 절감함과 동시에, 지식 그래프를 통한 논리적 일관성 확보로 과학기술 특화 MLLM의 성능을 고도화할 수 있는 실질적인 토대를 마련하였다. 실험 결과, Qwen2.5-VL(3B) 기준 구축 데이터셋에서 Baseline 대비 GPT-4 Score는 37.6에서 81.4로 43.8점 향상되었고, Accuracy는 43.6%에서 84.7%로 41.1%p 향상되어 제안 프레임워크의 효과를 확인하였다.

목차

요약
Abstract
1. 서론
2. 관련 연구
2.1 LLM 및 MLLM 학습을 위한 데이터셋
2.2 최신 LLM·MLLM과 과학특화 LLM·MLLM연구
2.3 문서 구조화 기술 동향
3. 제안 방법
3.1 자동 문서 Parsing 및 관리 프로세스
3.2 MLLM 학습 데이터 자동 생성 및 개선 프레임워크
4. 실험
4.1 실험 데이터
4.2 실험 세팅
4.3 시스템 구성 모델의 정량적 결과
4.4 프레임워크 정성적 결과
5. 결론
Acknowledgement
참고문헌

키워드

저자

• 박효빈 [ Hyobin Park | ㈜ 앤트랩 ]
• 장하윤 [ Hayun Jang | 국립한밭대학교 정보통신공학과 ]
• 김태섭 [ Taeseop Kim | 국립한밭대학교 정보통신공학과 ]
• 정진욱 [ Jinwook Jung | ㈜ 앤트랩 ]
• 최동걸 [ Dong-Geol Choi | ㈜ 앤트랩/국립한밭대학교 정보통신공학과 ] 교신저자

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  한국차세대컴퓨팅학회 논문지 [THE JOURNAL OF KOREAN INSTITUTE OF NEXT GENERATION COMPUTING]

• 간기

  격월간

• pISSN

  1975-681X

• 수록기간

  2005~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 566 DDC 004