Attention Is Not What You Need: グラスマン多様体フローに基づくアテンションフリー・アーキテクチャの提案

本論文は、シーケンスモデリングにおいて明示的な自己注意機構が真に必要かを再検討し、グラスマン多様体の幾何学的特徴を利用したアテンションフリー構造「Causal Grassmann layer」を提案している。提案手法では、L×Lのアテンション行列を作らず、トークンペアをプリュッカー座標を通じてグラスマン多様体上の2次元部分空間として符号化し、固定ランクにおいて系列長に対して線形にスケーリングする。Wikitext-2ベンチマークにおいて、1300万〜1800万パラメータのモデルで同規模のTransformerと10〜15%以内の検証パープレキシティを達成したほか、SNLI自然言語推論タスクではDistilBERT上のヘッドとしてTransformerヘッドを上回る検証精度0.8550およびテスト精度0.8538を記録した。