AI政策における第三者テストの重要性

• Anthropicが「フロンティア脅威レッドチーミング」に関する取り組みと発見事項を発表
• 専門家と協力し、AIモデルの生物学的リスクに関するテストプロジェクトを実施
• 現在の最先端AIモデルは専門家レベルの知識を提供し、悪用時に国家安全保障リスクを高める可能性があることが示唆された

• AnthropicがNTIAのAI説明責任に関する意見募集に対し、評価研究への資金拡大、評価方法の開示義務化、リスクしきい値の設定と越境時のデプロイ停止・当局通知、トレーニング実行の事前登録制度、第三者監査人育成、外部レッドチーミング義務化、解釈可能性研究推進、独禁法の明確化などを提言した。

Anthropicは、AIが産業革命や科学革命に匹敵する影響をもたらす可能性があるが、その進展が必ずしも良い結果をもたらすとは確信していない。AIの進歩は指数関数的に加速しており、今後10年で人間レベルの知能を超える可能性もある。しかし、現在のところ、強力なAIシステムを確実に有用、正直、無害に訓練する方法は確立されていない。AIの急速な進歩は社会を混乱させ、競争的な開発競争を引き起こし、信頼できないAIシステムの展開につながる可能性がある。Anthropicは、スケーリング監督、メカニズム解釈可能性、プロセス指向学習、AIシステムの学習と一般化の理解と評価といった多角的なアプローチによるA…

• AnthropicのCEO Dario Amodei氏が、強力なAIモデルのリリースをFAAスタイルで規制する政府規制を公に提唱
• Anthropicは壊滅的なモデルリスクを対象とした「Advanced AI Framework」と、AIによる労働力 displaceに対処する「Economic Policy Framework」の2つの政策ロードマップを発表
• 10^25 FLOPs以上を訓練したモデルやAI収益5億ドル以上、AI研究開発費10億ドル以上の企業が開発したモデルは第三者テスト義務付けの対象となる可能性

• Anthropicが、50人以上の死傷者または10億ドル以上の損害リスクがある場合に限り政府がAIモデルの公開を差し止められるようにするAI安全性法案のロビー活動を行っている。
• 提案されている法案には、商務省登録の第三者評価機関の活用や、商務省以外の政府機関による公開停止命令の禁止、コロンビア特別区連邦地方裁判所による判断プロセスなどが含まれている。