説明可能なAIによるフィッシングURL検出:SHAP誘導特徴学習を備えたベイジアン最適化スタッキングアンサンブルフレームワーク
Explainable AI for phishing URL detection: a Bayesian-optimized stacking ensemble framework with SHAP-guided feature learning
2023年には470万件以上のフィッシングインシデントが記録されており、既存のAIベースの検出フレームワークは、ベンチマーキング範囲の限定、モデル解釈性の欠如、統計的検証の不十分さといった制約を抱えている。本研究では、247,950件のURLからなる大規模な公開ベンチマークで評価された、説明可能なエンドツーエンドの機械学習パイプラインを提案する。このパイプラインは、SHAP誘導特徴選択(41特徴から24特徴へ削減)、12分類器の体系的なベンチマーク、Optuna TPEサンプリングによるベイジアンハイパーパラメータ最適化、そしてロジスティック回帰メタ学習器の下でOptunaで調整されたXGBoost、CatBoost、Extra Trees、Random Forestを組み合わせた異種スタッキングアンサンブルを統合している。4層の統計的検証プロトコルが適用された。SHAP誘導選択により特徴空間が41.5%削減され、予測シグナルの95%が維持された。スタッキングアンサンブルは、精度96.75%、F1スコア96.74%、AUC 0.9947を達成し、13モデル中最も低いBrierスコア(0.0246)を示した。Friedman一元配置分散分析はモデル間の有意な性能差を確認し、すべてのWilcoxon符号順位検定のペアワイズ比較は最小のp値(p=0.0313)を yielded し、アンサンブルがいかなるベースラインに対してもクロスバリデーションフォールドを失わなかったことを確認した。事後SHAP分析により、サブドメイン構造、URL長、URLエントロピーが、アンサンブルおよびベース学習者レベルの両方で主要なフィッシング指標であることが特定された。
- 2023年に470万件超のフィッシングインシデントが記録される中、説明可能なエンドツーエンド機械学習パイプラインを提案。247,950件のURLからなる大規模公開ベンチマークで評価された。
- SHAP誘導の特徴選択により特徴数を41から24へ41.5%削減しつつ、予測シグナルの95%を維持した。
- XGBoost、CatBoost、Extra Trees、Random Forestをロジスティック回帰メタ学習器で統合した異種スタッキングアンサンブルが、精度96.75%、F1スコア96.74%、AUC 0.9947、13モデル中最も低いBrierスコア0.0246を達成した。
- Friedman一元配置分散分析とWilcoxon符号順位検定による4層の統計的検証を実施し、アンサンブルがいずれのベースラインに対してもクロスバリデーションフォールドを失わないことを確認した。
- Optuna TPEサンプリングによるベイジアンハイパーパラメータ最適化を採用し、事後SHAP分析でサブドメイン構造、URL長、URLエントロピーを主要なフィッシング指標として特定した。
フィッシング対策はSaaS型セキュリティ製品の主要機能であり、本論文はその検出精度を実運用レベルで底上げする手法を示している点が注目される。247,950件の大規模公開ベンチマークで精度96.75%・AUC 0.9947・Brierスコア最小を達成し、SHAPによる説明可能性を確保したことは、規制対応や顧客説明責任が求められる企業向けセキュリティ製品の差別化要因になり得る。一方で査読前の学術研究であり、商用製品化や性能の再現性、実トラフィックでの誤検知率は未検証のため、投資判断には実装企業の動向を継続的に確認したい。