構造化されたコンパクトEEGネットワークのフィルタ重要度に対する勾配フリー法
Gradient-Free Filter Importance for Structured Pruning of Compact EEG Networks
リソース制約のあるBCIハードウェアへのEEG分類ネットワーク展開のため、構造化フィルタプルーニングが動機付けられるが、コンパクトなアーキテクチャにおける重要度基準の信頼性は不明瞭である。本研究では、4つのデータセット、2つのパラダイム(運動イメージとERP)、2つのアーキテクチャ、複数の容量、ファインチューニングの有無にわたる5つのフィルタ重要度基準(アブレーションベースの構造的感度解析(SSA)、一次テイラー展開、L1ノルム、幾何中央値、ランダム)のリークフリーで物理的に実現された比較を提示する。EEGNetでは、ファインチューニング後、SSAとテイラー展開は統計的に同等であり、4つのデータセット全体での精度差は±1パーセントポイントのマージン内(TOST、p=0.01)であり、ShallowConvNetではSSAはテイラー展開より劣ることはない。両基準とも重みベースおよびランダム基準を大幅に上回る。SSAの価値は、より正確なランキングではなく、その定式化にある。重み量子化(8ビット)EEGNetでは、損失勾配(したがってテイラー展開)が使用される量子化グラフで未定義であるが、SSAは最良の勾配フリー基準であり、集計でL1、幾何中央値、ランダムプルーニングを大幅に上回り、構造化プルーニングを量子化された勾配フリーだが編集可能な展開レジームに拡張する。さらに、プルーニングスケジュールとファインチューニングは、強力な基準間の選択よりも重要であり、大規模にトレーニングしてからファインチューニングでプルーニングすることは、直接トレーニングされた小規模モデルと同等の精度を回復することを示す。結果は、コンパクトなEEGデコーダーにおいて、重要度基準が重要である場合とそうでない場合を明確にする。
- EEGNetの8ビット量子化モデルでは損失勾配(テイラー展開)が量子化グラフ上で未定義となり、勾配フリーの構造的感度解析(SSA)が最良の重要度基準としてL1、幾何中央値、ランダムプルーニングを集計で大きく上回った。
- 4データセット・2パラダイム(運動イメージとERP)・2アーキテクチャにわたるリークフリー比較で、ファインチューニング後のSSAとテイラー展開は統計的に同等(精度差±1ポイント、TOST p=0.01)であり、重みベース・ランダム基準を大幅に上回った。
- プルーニングスケジュールとファインチューニングは重要度基準の選択よりも重要であり、大規模に事前学習してからファインチューニング付きでプルーニングすることで、直接学習した小規模モデルと同等の精度を回復できる。
EEG分類ネットワークのフィルタ重要度基準を比較した研究で、投資の直接材料は乏しいものの、BCIのエッジ実装に効く技術的論点を含む。特に8ビット量子化EEGNetでは損失勾配が未定義になるためテイラー展開が使えず、勾配フリーのSSAが最良基準になるという知見は、低消費電力・小型BCIデバイスへの展開レジームを広げる。投資家としては、プルーニングスケジュールとファインチューニングが基準選択より重要で、大規模学習後にプルーニングしても小規模モデルと同等精度に回復する点に注目したい。つまりBCIチップ/ウェアラブル事業者にとって、演算資源の制約が精度劣化の主因ではない可能性を示し、量産チップ上での推論最適化が競争要因になり得る。ただし具体的な企業・製品・規制の動きはなく、短期的な投資シグナルとしては弱い。