[Paper Review] A Time Series Is Worth 64 Words: Long-Term Forecasting With Transformers

[ 발표자 ]
고려대학교 DSBA 연구실 박사과정 최희정
[ 발표 요약 ]
1. Topic
A Time Series Is Worth 64 Words: Long-Term Forecasting With Transformers
2. Overview
이번 세미나 시간에는 ICLR 2023에 accept 된 long-term time series forecasting(LTSF) 방법론 PatchTST를 공유하고자 한다. 최근 “Are Transformers Effective for Time Series Forecasting?” 논문에서 매우 간단한 linear 모델이 다양한 Transformer 기반 LTSF 모델들의 성능을 능가하면서 LTSF에서 Transformer의 효과에 대한 의문이 제기되었다. 본 논문에서는 channel-independence patch time series Transformer (Patch TST)를 제안하여 기존 연구 결과와 다르게 Transformer가 LTSF에 효과적이라는 것을 증명하였다. 세부적으로 PatchTST는 sub-series level patch를 사용하여 Trasformer에 locality를 반영하고 메모리 사용량을 줄였으며, 각 변수를 독립적으로 학습하는 channel-independence 세팅을 사용하여 Transformer의 연산량을 줄였다.
3. 발표자료
dsba.korea.ac.kr/seminar/?uid=...
4. 참고문헌
[1] A Time Series Is Worth 64 Words: Long-Term Forecasting With Transformers (ICLR 2023)
[2] Are Transformers Effective for Time Series Forecasting (AAAI 2023)

[@MinYeong3]

진짜 깔끔하게 정리 잘해주셔서 감사합니다. 최근에 LTSF 때문에 골머리 싸매고 있었는데 단번에 정리된 것 같아요!

[@sblee918]

처리 방법 아이디어가 좋네요.

[@pusj61]

Hi, would it be possible for you to add an English version of this video? Thanks!

[@MinYeong3]

Patch TST 일단 찍먹해보고 오겠습니다.

[@shaswatidash4076]

Hi 고려대학교 산업경영공학부 DSBA 연구실, Please upload English version of this video if possible. Thanks in advance. Good luck !