モデルの失敗からシステムの危害へ:ヘルスケアAIの安全性に向けた社会技術的経路の運用化
From model failure to system harm: operationalizing a sociotechnical pathway for healthcare AI safety
ヘルスケアAIの安全性は、差別、キャリブレーション、感度、特異度、ベンチマーク精度といった指標だけでなく、AI出力が臨床システムに入った後に何が起こるかに依存する。AI出力が認識され、信頼され、検証され、実行され、既存のワークフローや組織能力を通じて伝播するかが重要である。ポストマーケットレポート、人間とAIの研究、ドリフト分析、公平性監査からの証拠は、この経路の複数の点でハザードが発生する可能性があることを示している。本稿では、上流の脆弱性からAIの挙動、人間とワークフローの仲介、意思決定またはシステム効果、そして下流の危害に至るリスクを追跡する5段階の社会技術的経路を提案する。このフレームワークは、ガバナンス原則の新たなカタログを追加するのではなく、特定の脆弱性がどのように伝播するかを追跡し、各移行を測定可能な指標、責任ある主体、エスカレーション基準、および対応行動にリンクされた監査可能な制御点として扱う。閾値は、意図された使用法とローカルコンテキストに従って事前に指定されるべきである。
- ヘルスケアAIの安全性は差別・キャリブレーション・感度・特異度・ベンチマーク精度などの指標だけでなく、AI出力が臨床システムに入った後にどう認識・信頼・検証・実行され、既存ワークフローや組織能力を通じて伝播するかに依存すると指摘。
- ポストマーケットレポート、人間とAIの研究、ドリフト分析、公平性監査からの証拠が、この経路の複数の点でハザードが発生し得ることを示している。
- 上流の脆弱性からAIの挙動、人間とワークフローの仲介、意思決定またはシステム効果、下流の危害に至るリスクを追跡する5段階の社会技術的経路フレームワークを提案。
- ガバナンス原則の新たなカタログ追加ではなく、特定の脆弱性の伝播を追跡し、各移行を測定可能な指標・責任ある主体・エスカレーション基準・対応行動にリンクされた監査可能な制御点として扱う。
- 閾値は意図された使用法とローカルコンテキストに従って事前に指定されるべきだと主張。
ヘルスケアAIの安全性を「モデル精度」ではなく上流の脆弱性が臨床ワークフローを伝播して下流の危害に至る経路として捉え、各移行を監査可能な制御点にする枠組みを提唱している。規制当局がこうした社会技術的経路ベースの評価軸を採用すると、医療AIの承認・市販後監視要件が厳格化し、ドリフト監視・公平性監査・ヒューマン・イン・ザ・ループ検証を実装できるベンダーと、そうでないベンダーの競争力が分かれる。医療AI関連の投資では、モデル性能の指標だけでなく、承認後の運用・監視体制と規制対応力が企業価値を左右する点に注目したい。