[Paper Review] Autoformer

발표자: 석사과정 강형원

1. 논문 제목:
Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting (Xu et al., NeurIPS'21)
링크: https://proceedings.neurips.cc/paper/...

2. 논문 Overview
기존의 Transformer 기반의 모델들은 self-attention을 효율적으로 사용하는 방법에만 집중하고, point-wise dependency만을 찾을 수 있는 self-attention만을 사용

Autoformer는 LSTF 관점에서 기존 transformer 기반 모델들의 한계점을 개선할 수 있는 효율적이고 효과적인 방법론 제안
Auto-correlation mechanism을 이용하여 Series level에서 dependencies를 찾고 information aggregation
Fast Fourier Transform을 통해 효율적으로 Auto-correlation을 계산하여 효율성 개선 O(L log⁡L)
Series Decomposition을 이용하여 seasonal과 trend를 분리함으로써 복잡한 Time-series의 temporal pattern을 학습

3. keyword: Time series forecasting, Transformer, Autoformer, Auto Correlation, Auto Correlation Attention, Fourier Series, Fourier Transform, Fast Fourier Transform, Series Decomposition