[Paper Review] LogSparse Transformer for Time Series Forecasting

발표자: 석박통합과정 박진우
1. 논문 제목: Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting (Shiyang Li et al.)
2. 논문 링크: arxiv.org/abs/...
3. 논문 Overview
- 기존 Transformer 기반 Time-Series Forecasting 방법론들은 시계열 데이터의 Local 정보를 보존하지 못하는 Locality-agnostics 문제와 Sequence length에 대해 Quadratic한 Computational cost가 발생하는 Memory bottle neck 문제 존재
- Locality-agnostic 문제를 해결하고자 Causal Convolution을 통하여 만들어지는 Convolutional self-attention을 사용하며, Log Sparse attention을 통하여 Memory bottle neck 문제 해결하는 LogSparse Transformer 모델 제안