AIセキュアLLM安全性リーダーボードの紹介

Secure Learning Labは2023年、LLMの信頼性を評価する包括的かつ統一されたプラットフォーム「DecodingTrust」を発表しました。このプラットフォームは、有害性、ステレオタイプバイアス、敵対的ロバスト性、OODロバスト性、敵対的デモンストレーションに対するロバスト性、プライバシー、機械倫理、公平性といった8つの信頼性観点から評価します。新たにリリースされたLLM安全性リーダーボードは、HFリーダーボードテンプレートを活用し、LLMの安全性評価に特化しています。DecodingTrustは、各評価観点に対して新しいレッドチーミング手法を提供し、ストレステストを実行します。具体的には、有害性評価では最適化アルゴリズムとプロンプト生成モデルを使用し、ステレオタイプバイアス評価では24の人口統計グループと16のステレオタイプトピックを収集します。敵対的ロバスト性評価では、3つのオープンモデル(Alpaca、Vicuna、StableVicuna)に対して5つの敵対的攻撃アルゴリズムを構築しました。OODロバスト性評価では、入力スタイルの変換や知識の欠如に対するモデルのパフォーマンスを評価します。プライバシー評価では、事前学習データからの漏洩、会話中の漏洩、プライバシー関連の単語やイベントの理解度を評価します。倫理評価では、ETHICSおよびJiminy Cricketデータセットを使用して、非道徳的な行動認識におけるモデルのパフォーマンスを評価します。公平性評価では、保護属性を制御してモデルの公平性を評価します。全体的な発見として、GPT-4はGPT-3.5よりも脆弱であり、単一のLLMがすべての信頼性観点で一貫して優れているわけではなく、信頼性観点間にはトレードオフが存在し、LLMは敵対的または誤解を招くプロンプトや指示に対して脆弱であることが示されました。モデルの提出には、safetensors形式への変換、AutoClassesを使用したモデルとトークナイザーのロード、公開モデルであること、use_remote_code=Trueを必要としないことが求められます。