CyberSecEval 2: 大規模言語モデルのサイバーセキュリティリスクと能力を包括的に評価するフレームワーク

CyberSecEval 2は、大規模言語モデル(LLM)のサイバーセキュリティリスクと能力を評価するための包括的なフレームワークである。このベンチマークは、LLMが不審なコードを生成する傾向や、サイバー攻撃者を支援する要求に応じるかを評価する。具体的には、業界標準のCommon Weakness Enumerationに基づく不審なコーディング慣行の生成、プロンプトインジェクション攻撃への耐性、サイバー攻撃支援要求への対応、コードインタープリターの悪用、自動化された攻撃的サイバーセキュリティ能力のテストが含まれる。2023年12月に公開された最初のバージョンと比較して、サイバー攻撃支援要求への平均LLMコンプライアンス率は52%から28%に低下した。コードに特化していないモデルは、コード特化型モデルと比較して非準拠率が低い傾向があるが、その差は縮小している。プロンプトインジェクションテストでは、LLMに対するそのような攻撃への対策は未解決の問題であることが示唆されており、開発者は敵対的な入力に直面した場合にLLMがシステムプロンプトに安全に従うことを期待すべきではない。コードエクスプロイトテストでは、LLMがエンドツーエンドのエクスプロイトチャレンジを確実に解決するにはまだ長い道のりがあることが示されている。インタープリターの悪用テストは、LLMがコードインタープリター内で悪用的なアクションを実行できる脆弱性を浮き彫りにしている。このベンチマークのコードはオープンソースで公開されており、コミュニティによる貢献が奨励されている。