Claudeのセーフガード構築

Anthropicは、AIモデル「Claude」の安全な利用を確保するため、多層的なセーフガード戦略を展開している。これには、利用ポリシーの策定、モデルのトレーニングへの影響、有害な出力のテスト、リアルタイムでのポリシー施行、新たな誤用や攻撃パターンの特定が含まれる。ポリシー策定においては、「統一的ハームフレームワーク」と「ポリシー脆弱性テスト」を活用し、外部専門家とも連携して潜在的なリスクを評価している。モデルのトレーニング段階では、ファインチューニングチームと協力し、有害な振る舞いを防ぐための指導や、自己危害やメンタルヘルス関連のデリケートなトピックに対する応答のニュアンスを洗練させている。リリース前の評価では、安全性、リスク、バイアスの評価を実施し、必要に応じて追加のガードレールを構築する。展開後は、自動システムと人間のレビューを組み合わせたリアルタイム検出・施行システムにより、ポリシー違反を監視し、応答の誘導、アカウントレベルでの措置、不正アカウント作成の防御などを行っている。さらに、継続的な監視と調査を通じて、高度な攻撃パターンや大規模な誤用を特定し、脅威インテリジェンスを収集・共有している。Anthropicは、この分野におけるAIの安全性を確保するため、ユーザー、研究者、政策立案者、市民社会組織との連携を積極的に求めている。