Earticle

초록

영어

As the importance of time-series data increases in many industrial fields, the problem of time-series forecasting is becoming crucial. For time-series forecasting, Transformer-based models have recently received much attention in place of traditional LSTM-based models. However, Transformer-based models have a limitation in their weak ability to preserve sequential features of time-series. To address this problem, we propose a novel Transformer-based forecasting model, called 3DCformer, which combines a 3D convolution network and Transformer. The 3DCformer encoder uses dilated convolution to capture sequential features from time-series and then expands 2D time-series to 3D. The 3D convolution network then extracts representations from the extended 3D data. The 3DCformer decoder is designed to efficiently combines and learns representations of both short-term and long-term features extracted from the encoder. Through extensive experiments, we show that our proposed 3DCformer achieves 16.18% lower MAE and 24.53% lower MSE compared to the existing State-Of-The-Art models.

한국어

다양한 분야에서 시계열 데이터의 중요성이 증가하면서 미래의 시계열 데이터를 정확하게 예측하는 것이 중요한 문 제로 대두되고 있다. 시계열 데이터 예측 분야에서는 오랫동안 LSTM 기반 모델을 사용했지만, 최근에는 트랜스포 머 모델이 주목받기 시작했다. 하지만 트랜스포머 모델 구조는 시계열의 순차적인 특성을 보존하는 능력이 약하다는 한계를 가진다. 본 논문에서는 이것을 해결하기 위해 3D 컨볼루션 네트워크와 Transformer를 결합한 구조의 3DCformer를 제안한다. 3DCformer의 인코더는 dilated 컨볼루션을 사용하여 입력 데이터의 순차적인 특성을 강화한 뒤 2D 입력 데이터를 3D로 확장한다. 그 후 3D 컨볼루션 네트워크를 통해 확장된 특성에서 표현을 추출한 다. 3DCformer의 디코더는 인코더에서 추출한 짧은 기간과 긴 기간의 시계열 데이터의 표현을 효율적으로 결합 및 학습하는 구조로 설계한다. 광범위한 실험을 통해 3DCformer가 기존 State-Of-The-Art 모델에 비해 16.18% 낮은 MAE와 24.53% 낮은 MSE를 달성함을 보인다.

목차

요약
Abstract
1. 서론
2. 관련연구
3. 3DCformer
3.1 표현 추출 인코더
3.2 이중패턴 반영 디코더
4. 실험 및 평가
4.1. 데이터 셋 및 평가지표
4.2. 실험 결과
4.3. 파라미터 변화 실험
5. 결론
Acknowledgements
참고문헌

키워드

저자

• 이상원 [ Sangwon Lee | 인하대학교 전기컴퓨터공학과 ]
• 최원익 [ Wonik Choi | 인하대학교 전기컴퓨터공학과 ] 교신저자

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  한국차세대컴퓨팅학회 논문지 [THE JOURNAL OF KOREAN INSTITUTE OF NEXT GENERATION COMPUTING]

• 간기

  격월간

• pISSN

  1975-681X

• 수록기간

  2005~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 566 DDC 004