トランスフォーマーは3つのプロジェクションを必要とするか?QKVバリアントの体系的な研究

本研究では、トランスフォーマーのクエリ、キー、バリュー(QKV)アテンションにおける3つのプロジェクションの個別の貢献と、一部を省略した場合の影響を体系的に評価した。具体的には、Q-K=V(キーとバリューの共有)、Q=K-V(クエリとキーの共有)、Q=K=V(単一プロジェクション)の3つの共有制約を検証した。実験の結果、Q-K=V共有は、言語モデリングにおいてパープレキシティの低下をわずか3.1%に抑えつつ、KVキャッシュを50%削減できることがわかった。さらに、Q-K=V共有はヘッド共有(GQA/MQA)と組み合わせ可能であり、Q-K=V + MQAでは96.9%のキャッシュ削減を実現し、オンデバイス推論を可能にする。このプロジェクション共有は、特にエッジデプロイメントに有用な、推論メモリに関する直接的かつ定量的なメリットをもたらす。