AIの核兵器開発への悪用リスク、米エネルギー省とAI企業が共同で監視ツールを開発

AIモデルが核兵器開発に繋がる危険な技術情報を提供するリスクに対応するため、Anthropic社は米エネルギー省(DOE)傘下の国家核安全保障局(NNSA)と提携し、AIによる核兵器拡散リスクの評価と監視を行っている。両者は共同で、懸念される核関連の会話とそうでない会話を96%の精度で自動分類するAI分類器を開発した。この分類器は既にClaudeのトラフィックに展開され、実用性が確認されている。Anthropic社はこの取り組みをフロンティアモデルフォーラムと共有し、他のAI開発者もNNSAと連携して同様の安全対策を実装できるような青写真となることを目指している。この官民連携は、AIモデルの信頼性と安全性を高める上で、産業界と政府の強みを組み合わせることの重要性を示している。