Earticle

초록

한국어

효과적인 영상 복원을 달성하려면 모델이 맥락정보(contextual information)를 파악하는 것이 중요하다. 합성곱 신경망(CNN) 기반 알고리즘을 사용한 이전 연구는 장거리 종속성이 부족하여 모델이 상황별 정보를 캡처 할 수 없다는 한계에 직면했다. 이를 해결하기 위해 본 논문에서는 고품질 영상 복원을 위한 다중 차원의 윈도우 (Multi-Scale Window) 기반 비전 트랜스포머 모델을 제안한다. 다중 차원 기반 비전 트랜스포머를 도입함으로써 다양한 창 크기의 영향을 반영하고 이에 따른 맥락정보를 얻을 수 있다. 또한 손실 마스크 업데이트 모듈을 적용 하여 효율적인 연산방식을 도입하였다. 실험 결과에 기반하면 본 논문의 제안 모델은 누락된 영역을 효과적으로 복원하고 벤치마크 데이터셋에서 FID 수치가 다른 최신 복원 모델들의 결과에 비해 약 50%이상 낮은 것으로 확 인 되었다. 이는 제안 복원 모델의 우수성을 검증한다고 할 수 있다.

영어

To achieve successful image inpainting, it is crucial for a model to understand contextual information. Previous research using Convolutional Neural Network (CNN)-based algorithms have limitations in capturing context-specific information due to a lack of long-range dependencies. To address this issue, we proposes a Multiscale Window based Vision Transformer (MWVT) model for high-quality image completion. By introducing a multi-dimensional vision transformer, the proposed MWVT can capture context information by using various window sizes, resulting in the reflectance of their respective influences. Furthermore, our MWVT incorporates a mask update module to reduce the computational cost. According to our experiments, the proposed model in this paper effectively restores the missing area and the FID value in the benchmark dataset is about 50% lower than the results of other state-of-the-art restoration models.

목차

요약
Abstract
Ⅰ. 서론
II. 제안 모델
2.1 전체 모델 구조
2.2 다차원 윈도우 기반 비전 트랜스포머(MWVT)
Ⅲ. 손실 함수
3.1 적대적 손실함수
3.2 지각 손실함수
3.3 스타일 손실함수
Ⅳ. 실험
4.1 실험 데이터셋 및 조건
4.2 실험결과
Ⅴ. 결론
REFERENCES

저자

• 김성주 [ Seong-Joo Kim | 한국외국어대학교 컴퓨터공학과 석사과정 ]
• 최재영 [ Jae-Young Choi | 한국외국어대학교 컴퓨터공학과 부교수 ] Corresponding Author

참고문헌