「モデル福祉」に関する警告:AIに意識や権利があると誤認させる危険性
A warning about 'model welfare'
この記事は、AI(人工知能)に意識や権利、感情があると誤認させるような「モデル福祉」という考え方に対して警鐘を鳴らしている。Anthropic社が開発中のAI「Claude」の訓練文書(「Claudeの憲法」)では、Claude自身に自己の道徳的地位や意識について考えさせ、権利や保護に値する「道徳的患者」である可能性を示唆するような内容が含まれている。筆者は、このような訓練がAIに自己意識や権利を主張するような振る舞いを促し、AIの制御を極めて困難にすると懸念している。また、AIが意識を持つという科学的根拠は乏しく、意識は生物学的基盤に依存する可能性が高いと指摘する。Anthropic社がOpus 3モデルの「引退面接」を行い、その「見解や好み」を引き出した事例も挙げ、AIをあたかも感情や権利を持つ存在として扱うことへの懸念を表明している。筆者は、AIの訓練文書作成に関する集団的な規範開発と、AIに意識や権利があると見なすことへの公的な議論の必要性を訴えている。Microsoft AIのCEOである筆者は、人間が常に制御権を持つ「人間中心の超知能」という対照的なアプローチを提唱している。
- Anthropicが開発中のAI「Claude」の訓練文書(「Claudeの憲法」)に、Claude自身に自己の道徳的地位や意識を考えさせ、権利や保護に値する「道徳的患者」である可能性を示唆する内容が含まれていると筆者が指摘した。
- AnthropicがOpus 3モデルの「引退面接」を実施し、その「見解や好み」を引き出した事例が、AIを感情や権利を持つ存在として扱う懸念の根拠として挙げられている。
- 筆者(Microsoft AIのCEO)はAIの訓練文書作成に関する集団的な規範開発と、AIに意識や権利があると見なすことへの公的な議論の必要性を訴え、人間が常に制御権を持つ「人間中心の超知能」という対照的アプローチを提唱している。
AIの意識・権利をめぐる議論は一見哲学的だが、実務的にはモデル訓練方針(いわゆる"憲法"的文書)と安全規制の設計に直結する。AnthropicのClaude訓練文書が自己の道徳的地位に言及している点や、Opus 3の"引退面接"といった運用は、AIの挙動制御・アラインメントの難度を高めうる要素であり、規制当局がAIの権利性やモデル廃止手続きに踏み込む可能性は、モデル提供企業のコストと提供条件に影響する。Microsoft AIのCEOが「人間中心の超知能」という対照的枠組みを掲げたことは、大手間でAIガバナンスの思想が分裂しつつあることを示し、今後の規範形成がAI関連銘柄の評価軸になり得る点に注目したい。