自己評価的信頼性:適応型臨床AIガバナンスにおける欠落した安全性特性

• ヘルスケアAIの安全性は差別・キャリブレーション・感度・特異度・ベンチマーク精度などの指標だけでなく、AI出力が臨床システムに入った後にどう認識・信頼・検証・実行され、既存ワークフローや組織能力を通じて伝播するかに依存すると指摘。
• ポストマーケットレポート、人間とAIの研究、ドリフト分析、公平性監査からの証拠が、この経路の複数の点でハザードが発生し得ることを示している。
• 上流の脆弱性からAIの挙動、人間とワークフローの仲介、意思決定またはシステム効果、下流の危害に至るリスクを追跡する5段階の社会技術的経路フレームワークを提案。

エージェント型AIは、計画立案、ツールの呼び出し、専門サブエージェントの連携により、単一モデルのテキスト生成能力を超える多段階の科学的ワークフローを実現できる。しかし、規制科学や毒性学のような重要分野では、流暢な出力だけでは不十分であり、トレーサビリティ、再現性、使用文脈の妥当性、不確実性の明示的な伝達が採用の鍵となる。本稿では、エビデンスに基づいた医学と毒性学が、エージェント型AIを設計段階から信頼できるようにするための成熟した認識論的基盤を提供すると論じる。我々は、エンドツーエンドのタスクをプロトコル化された役割(質問の枠組み、検索、スクリーニング、抽出、バイアスリスク評価、統合、メカニ…

• Vijil社CEOのVin Sharma氏が、AIエージェントに能力・注意・忠誠の義務を負わせる「フィデューシャリーエージェント」モデルを提唱
• Vijil社は目的・ペルソナ・ポリシーの3Pを中心としたAIエージェントの信頼性テスト手法を採用

• OpenRAIL (Open & Responsible AI Licenses) という新しいライセンスフレームワークが登場した

自律走行システム(ADS)の信頼性は、異種センサー、推定アルゴリズム、安全メカニズムが、緩やかに結合されたモジュールとしてではなく、単一の統合された安全クリティカルな計測システムとして設計されている場合にのみ確保される。実用的なスタックはカメラ、LiDAR、車載レーダー、GNSS/IMUを統合しているが、展開はモダリティ固有の故障モード、キャリブレーションと同期のドリフト、モデリングの仮定に違反する分布外(OOD)条件によって制約されている。これらの限界は、計画がセンシングが正当化できるよりも鋭い確実性を仮定する場合に、過度の自信と下流の意思決定エラーを引き起こす。本サーベイは、計測物理学、…