Earticle

초록

영어

Cross-cultural style fusion in text-to-image generation faces significant challenges when integrating semantically distant aesthetic domains. Existing LoRA-based approaches rely on one-shot training with static datasets, producing fragmented results when applied to structurally incompatible traditions such as Korean Hanok architecture and Western stained glass. We introduce ProGen, a progressive fine-tuning framework that expands training datasets through curriculum learning. The method employs four-stage training with cumulative LoRA weight integration, where early stages establish architectural understanding before later stages introduce stylistic complexity. Starting from 10 manually created exemplars, the dataset grows to 40 through iterative model generation and human-guided selection. Experimental validation demonstrates that ProGen substantially outperforms both single-stage fine-tuning with limited data and single-stage training on expanded datasets. Critically, ablation studies reveal that curriculum structure-not just data quantity-drives performance. Multi-metric evaluation (IS, LPIPS, CLIP) provides convergent evidence that curriculum-based progressive expansion enables superior exploration of fusion variations.

한국어

텍스트-투-이미지 생성 분야에서 의미적으로 거리가 먼 두 미적 영역을 하나의 이미지로 통합하는 작업은 여전히 해결하기 어려운 과제로 남아 있다. 기존의 LoRA 기반 접근법은 대부분 고정된 데이터셋을 활용한 단일 단계 학습에 의존하기 때문에, 한국 전통 건축 양식인 한옥과 서양의 스테인드글라스처럼 구조적으로 이질적인 두 전통을 결합할 때 시각적으로 파편화된 결과물을 생성하는 한계를 보인다. 본 연구에서는 이러한 문제를 해결하기 위해 점진적 파인튜닝 프레임워크인 ProGen을 제안한다. ProGen은 커리큘럼 학습 원리를 바탕으로 학습 데이터를 단계적으로 확장해 나가는 방식을 채택하며, 누적 LoRA 가중치 통합을 포함하는 4단계 학습 구조로 설계되었다. 초기 단계에서는 건축 구조에 대한 이해를 형성하고, 이후 단계에서는 스타일적 복잡성을 점진적으로 심화시킨다. 10개의 수작업 예시 이미지를 출발점으로 삼아 모델 생성과 연구자의 선별 과정을 반복함으로써, 최종적으로 40개의 학습 데이터셋을 구성한다. 실험 결과, ProGen은 소규모 데이터 기반의 단일 단계 파인튜닝 방식과 확장된 데이터셋을 활용한 단일 단계 학습 방식 모두를 성능 면에서 상회하였다. 특히 제거 실험(ablation study)을 통해 커리큘럼 기반의 점진적 학습 구조가 단순한 데이터 양 증가보다 성능 향상에 더 결정적인 역할을 한다는 사실을 입증하였다. IS, LPIPS, CLIP 기반의 다중 평가를 통해 점진적 데이터 확장이 스타일 융합 이미지의 다양성과 표현력을 효과적으로 향상시킴을 검증하였다.

저자

• 이예빈 [ Yebin Lee ]
• 김희원 [ Heewon Kim ]

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  The Journal of the Convergence on Culture Technology (JCCT) [문화기술의 융합]

• 간기

  격월간

• pISSN

  2384-0358

• eISSN

  2384-0366

• 수록기간

  2015~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 600 DDC 700