NeuroPlast: 医療画像分類における知識蒸留で評価される学習可能な活性化関数
NeuroPlast: a learnable activation function evaluated under knowledge distillation for medical image classification
医療画像分類のための深層ニューラルネットワークでは、ReLUのような固定活性化関数が主流である。本研究では、4つの微分可能なコンポーネント(NMDA型電圧ゲートをモデル化したシフトシグモイド、AMPA受容体スケーリングに着想を得たガウシアンプラトー、励起性整流子、抑制性リーク)と6つの学習可能パラメータを組み合わせた、パラメータ化された活性化関数「NeuroPlast」を提案する。静的バリアント(固定学習重み)とメタプラスティックバリアント(チャネル統計に条件付けられた軽量Squeeze-Exciteゲートによるサンプルごとの適応)の2つの混合戦略を評価する。NeuroPlastは、13.5Mパラメータの残差畳み込みニューラルネットワーク(CNN)であるNADN Ultraに組み込まれ、2段階の知識蒸留(KD)パイプラインを通じて学習される。教師モデルはファインチューニングされたEfficientNet-B0であり、生徒モデルはロジットレベルKDと特徴レベルアライメント損失を組み合わせる。Brain Tumor MRI、Chest X-ray Pneumonia、Skin Cancer HAM10000、COVID-19 Radiographyの4つの医療画像ベンチマークで評価した結果、静的KDバリアントはCOVID-19 X線で99.4–99.5%の精度を達成し、これは事前学習済みEfficientNet-B0(99.18%)と同等、ResNet-18(98.69%)を上回る。Brain Tumor MRIでは精度ギャップの65%を埋め(98.29% vs. 99.13%)、Chest X-rayでは92.5%、Skin Cancerでは79.5%を達成した。メタプラスティックバリアントはCOVID-19 X線で99.28%を達成したが、静的バージョンを一貫して上回ることはなかった。3つの表形式医療データセットでは、NeuroPlastは5つの既存活性化関数と同等の性能を示した。知識蒸留が、スクラッチからのアーキテクチャが事前学習済みレベルの性能に近づくための主要な推進力であることが示唆される。同一の蒸留パイプライン下で、NeuroPlastはReLU、GELU、Swish、Mish、PReLUに対して小さな一貫したゲインをもたらし、4つの画像ベンチマークすべてで1ポイント未満のマージンでリードした。
- 学習可能な活性化関数「NeuroPlast」を提案し、4つの医療画像ベンチマーク(Brain Tumor MRI、Chest X-ray Pneumonia、Skin Cancer HAM10000、COVID-19 Radiography)で評価。静的KDバリアントはCOVID-19 X線で99.4-99.5%の精度を達成。
- 知識蒸留パイプラインにより、スクラッチからの軽量CNN(NADN Ultra、13.5Mパラメータ)が事前学習済みEfficientNet-B0(99.18%)と同等の精度(99.4-99.5%)を達成。
- 知識蒸留下でNeuroPlastはReLU、GELU、Swish、Mish、PReLUに対して4つの画像ベンチマークすべてで一貫した小さな精度ゲイン(1ポイント未満)を示した。
本記事は医療画像分類における学習可能な活性化関数「NeuroPlast」の研究成果であり、知識蒸留(KD)パイプラインの有効性検証を伴う。特に、事前学習済みモデル(EfficientNet-B0)と同等の精度をスクラッチからのアーキテクチャで達成できることを示しており、医療AI分野におけるモデル開発コスト削減と精度向上の両面で投資関心が高い。また、13.5Mパラメータの軽量CNNでCOVID-19 X線99.4-99.5%精度を達成しており、医療画像診断AIベンチャーの競争力評価に有用な指標といえる。