大規模言語モデルのセキュリティにおける言語的不可読性の意味合い

大規模言語モデル(LLM)は自然言語を生成するように訓練されているが、その外部化された言語出力や機械的に抽出された言語特徴が、内部のモデル計算を理解するための信頼できる指標とならない可能性が示唆されている。本稿では、LLMの外部化または機械的に調査された言語アーティファクトが、モデルの実際の思考プロセスを代表しないシナリオを広く指す「言語的不可読性」という用語を導入する。言語的不可読性は、内部計算が言語ではなく活性化空間上の数学によって表現され、活性化空間と自然言語の間で損失のある翻訳が発生するLLMにとって避けられないものであると論じている。言語的不可読性が常に可能であるならば、モデルの言語的自己報告に依存するセキュリティメカニズム(例:思考連鎖監視、憲法的自己批判、言語的に定義された特徴ベクトルに対する活性化プローブ)は完全に健全にはなり得ず、モデルサンドボックスはモデルの言語状態を読むことに依存しない隔離技術を常に必要とする。モデルの出力をテイント追跡を用いて観察することは、効果的なサンドボックスのための有望なアプローチであると主張している。モデルが言語的に自己報告するかにかかわらず、テイント追跡ポリシーは、モデル生成データの影響を決して受けてはならない様々なシステム状態を事前に定義できる。さらに、堅牢な仮想化やサンドボックス構成のサードパーティ監査などの追加のサンドボックスメカニズムについても議論しており、これらは言語監視の重要な基盤を提供し、最先端モデルによる最近のサンドボックスエクスプロイトを緩和したであろう。