Informerモデルによる多変量確率的時系列予測
Multivariate Probabilistic Time Series Forecasting with Informer
本記事では、AAAI21ベストペーパーであるInformerモデルを紹介し、🤗 Transformersライブラリで利用可能になったことを発表します。Informerは、Transformer(Vaswani et al., 2017)をベースに、長系列時系列予測(LSTF)における計算コストとメモリ使用量の問題を解決するために、ProbSparseアテンションとDistilling操作という2つの主要な改善を導入しています。ProbSparseアテンションは、計算量の多いセルフアテンションの計算を、重要度の高いクエリに絞ることで削減し、Distilling操作は、エンコーダー層間の入力サイズを半減させることでメモリ使用量を削減します。これにより、Informerは従来のTransformerと比較して、計算量とメモリ使用量を大幅に改善します。記事では、Hugging Face Hubで公開されている交通量データセット(traffic_hourly)を用いて、Informerモデルをカスタム多変量時系列データセットでトレーニングする方法を、GluonTSライブラリと組み合わせて具体的に解説しています。データの前処理、モデル設定、およびトレーニングパイプラインの構築について詳細に説明されており、時系列予測タスクにおけるInformerモデルの実用性を示しています。
- AAAI21ベストペーパーであるInformerモデルが🤗 Transformersライブラリで利用可能になった
- Hugging Face Hub上でtraffic_hourlyデータセットを用いたInformerモデルのトレーニング手法が解説された
本記事はAAAI21のベストペーパーであるInformerモデルが🤗 Transformersライブラリで実装・公開されたことを伝えている。長系列時系列予測(LSTF)は需要予測、在庫最適化、エネルギー負荷予測など産業応用が広く、ProbSparseアテンションによる計算効率改善は実運用コストに直結する。Hugging Faceエコシステムとの統合により、同モデルが広く利用可能になった点は、時系列AIの民主化という観点で注目に値する。