LLM 기반 논문 텍스트 분석을 통한 CNN 아키텍처의 자동 추출 및 3D 시각화 프레임워크
An LLM-Based Framework for Automatic Extraction and 3D Visualization of CNN Architectures from Research Paper Text
Convolutional Neural Networks (CNNs) consist of hierarchically stacked two-dimensional filters, which makes their internal structures and data flows inherently difficult to visualize intuitively. Existing visualization tools employ diverse representation styles and abstraction levels, limiting consistent comparison and interpretation across different models and increasing cognitive load for researchers. To address this issue, we propose an interactive web-based 3D visualization framework that extracts architectural information from CNN descriptions in academic papers and converts it into a structured representation. The proposed system utilizes a Large Language Model (LLM) to transform unstructured paper text into a JSON-based intermediate format, enabling users to explore and compare CNN architectures through interactions such as zooming and rotation within the framework. This approach supports intuitive analysis of architectures described in papers without relying on model implementation files and contributes to improving the accessibility of deep learning research.
한국어
합성곱 신경망(CNN)은 다수의 2차원 필터가 계층적으로 중첩된 구조를 가지므로, 그 내부 구조와 데이터 흐름을 직관적으로 시각화하는 데 본질적인 어려움이 있다. 기존의 시각화 도구들은 각기 다른 표현 방식과 추상화 수준을 사용함으로써 서로 다른 모델 간 구조를 비교하거나 해석하는 데 한계를 가지며, 이러한 비표준화된 시각화 환경은 연구자가 모델을 이해하고 비교하는 과정에서 인지적 부담을 초래한다. 본 연구에서는 이러한 문제를 개선하기 위해 CNN 아키텍처 설명으로부터 구조 정보를 추출하고, 이를 구조화된 표현으로 변환한 뒤, 상호작용 가능한 웹 기반 3차원 시각화 프레임워크를 제안한다. 제안하는 시스템은 대형 언어 모델(LLM)을 활용하여 논문 텍스트를 JSON 형태의 중간 표현으로 변환하고, 사용자가 해당 프레임워크 상에서 CNN 아키텍처를 확대·축소 및 회전 등의 상호작용을 통해 탐색하고 비교할 수 있도록 한다. 이러한 접근은 모델 구현 파일에 의존하지 않고 논문에 기술된 아키텍처 구조를 직관적으로 분석할 수 있는 환경을 제공하며 복잡한 모델에 대한 이해를 지원하고 연구의 접근성을 제고하는 데 기여한다.
목차
요약 Abstract 1. 서론 2. 관련 연구 3. 제안하는 시스템 구조 3.1 정보 추출 모듈 설계 3.2 시각화 모듈 설계 4. 아키텍처 정보 추출을 위한 프롬프트엔지니어링 4.1 단계적 프롬프트 최적화 전략 4.2 정형화된 데이터 생성을 위한 프롬프팅 5. 웹 기반 3D 시각화 및 인터페이스 5.1 상태 기반의 선언적 렌더링 파이프라인 구축 5.2 직교 투영을 통한 시각적 왜곡 최소화 5.3 다중 시점 기반의 상호작용 및 탐색 6. 실험 및 결과 6.1 실험 환경 및 평가 방법 6.2 LLM 모델별 정보 추출 성능 비교 및 검증 6.3 정성적 평가 및 사례 연구 7. 결론 Acknowledgements 참고문헌