FillingGAN: A Deep Learning-based Automatic Coloring Technique from Line Drawings for Developing Coloring Game Contents
FillingGAN: 채색 게임 콘텐츠를 위한 딥러닝 기반의 선화 자동 채색 기법 연구
In this paper, we contribute to the field of game by presenting FillingGAN, an automatic coloring framework using a generative adversarial network (GAN). FillingGAN is devised to generate a coloring image from a line drawing by filling empty regions between the lines in the line drawing image from the coloring styles learned from sample coloring images. Our model consists of two style extracting modules and a GAN model. The style extracting modules are designed as an auto-encoder that extracts feature from input images. One module extracts color styles from coloring sample images and the other extracts structure from a line drawing. FillingGAN executes coloring process by applying the coloring styles from coloring samples to a line drawing. It determines the similarity between the generated coloring image and the input line drawing, and calculate the perceptual loss to preserve the structural similarity. FillingGAN generates coloring images with preserved details by adjusting the weights between the structural feature vectors and the style feature vectors. As a result, it generates a stylized image without distorting the unique features of a line drawing. Our framework can be improved to apply various styles including artistic media strokes to line drawings.
한국어
본 논문에서는 생성 모델로 색칠하기 게임에서 사용 가능하도록 임의의 선화와 원하는 컬러링 스타일을 입력하 면 자동으로 컬러링 영상을 생성하는 신경망 모델인 FillingGAN을 제안한다. 제안된 모델은 스타일 영상의 특징 을 추출하는 오토 인코더 구조의 모듈과 추출된 스타일 영상의 특징을 선화에 적용해서 이미지를 생성하는 GAN 모델로 구성된다. GAN 모델은 선화에서 추출된 구조와 스타일 영상에서 추출된 색 정보를 이용해서 채색 영상을 생성하는 과정을 수행하며, 이를 위해서 선화의 구조와 스타일 영상의 색 정보를 유지하는 손실 함수를 설계한다. 우리의 모델은 선화의 고유한 특징을 보존하며 스타일이 적용된 이미지를 생성한다.
목차
ABSTRACT 1. Introduction 2. Related Work 3. Overview 4. Algorithm 4.1 Feature Extraction 4.2 Coloring Image Generation 5. Result 5.1 Experimental Settings 5.2 Result of FillingGAN 5.3 Comparison with Prior Work 5.4 Qualitative Evaluation 6. Conclusion Reference <국문초록> <결론 및 향후 연구>
1. 게임산업을 활성화 하고,
2. 게임기술과 기술 인력을 양산할 수 있도록 교육기관의 교과과정을 개발하고,
3. 관련기술에 대한 연구발표회, 강연회, 강습회 등을 개최하며,
4. 학회지, 논문지 및 관련 문헌을 발간하고,
5. 게임 기술 개발을 위한 국제화, 표준화 등을 지원하고,
6. 산.학.연.관이 협동할 수 있는 국제적 학술교류 및 협력을 지원하고,
7. 회원 상호간의 공동 이익과 친목을 증진시킨다.
간행물
간행물명
컴퓨터게임및콘텐츠논문지(구 한국컴퓨터게임학회논문지) [Journal of Computer Games and Contents]
간기
월간
pISSN
3091-7409
eISSN
3092-3638
수록기간
2002~2026
등재여부
KCI 등재
십진분류
KDC 691DDC 793
이 권호 내 다른 논문 / 컴퓨터게임및콘텐츠논문지(구 한국컴퓨터게임학회논문지) 제34권 제1호