AI研究者ジェイコブ・コックスン氏、退職と「AIによる人類滅亡」の警告で注目を集める

• AnthropicのCEOダリオ・アモデイ氏がAI開発の減速と規制を求める一方、NvidiaのCEOジェンスン・フアン氏はAIの破滅的リスク警告を否定した
• 一部の投資家や企業CEOがAIの潜在的な危険性を理由にAnthropicの技術の使用を停止し、規制強化につながる可能性を指摘している
• 米上院議員バーニー・サンダース氏がAIの暴走による破滅的影響の可能性を警告し、開発の一時停止を求めた

Anthropicは、AIが産業革命や科学革命に匹敵する影響をもたらす可能性があるが、その進展が必ずしも良い結果をもたらすとは確信していない。AIの進歩は指数関数的に加速しており、今後10年で人間レベルの知能を超える可能性もある。しかし、現在のところ、強力なAIシステムを確実に有用、正直、無害に訓練する方法は確立されていない。AIの急速な進歩は社会を混乱させ、競争的な開発競争を引き起こし、信頼できないAIシステムの展開につながる可能性がある。Anthropicは、スケーリング監督、メカニズム解釈可能性、プロセス指向学習、AIシステムの学習と一般化の理解と評価といった多角的なアプローチによるA…

• AI規制を求めるロビー団体Control AIが、人工超知能(ASI)の創出を禁止する法案の成立を支援している。
• Anthropic社の幹部が、AIが10年以内に人類を滅ぼす確率を10%以上と見積もり、ASIの安全な運用計画が存在しないことを認めた。
• OpenAIの最高科学者が、AI開発における国際協調を最優先事項とするよう訴えた。

• AnthropicのCEO Dario Amodei氏が、強力なAIモデルのリリースをFAAスタイルで規制する政府規制を公に提唱
• Anthropicは壊滅的なモデルリスクを対象とした「Advanced AI Framework」と、AIによる労働力 displaceに対処する「Economic Policy Framework」の2つの政策ロードマップを発表
• 10^25 FLOPs以上を訓練したモデルやAI収益5億ドル以上、AI研究開発費10億ドル以上の企業が開発したモデルは第三者テスト義務付けの対象となる可能性

• AnthropicがClaudeに倫理的コミットメントをリマインドするツールを導入し、内部評価で不適切な行動が大幅に減少した
• Anthropicが15以上の宗教・文化グループの代表者との対話を実施した