LLMの電子透かしがAIエージェントの挙動に与える影響の理解

AnthropicがClaudeモデルに不可視の電子透かしを埋め込むことを発表し、これはGoogle DeepMindのSynthID-Textに基づいている。電子透かしはコンテンツの来歴を追跡するために設計されているが、SynthID-Textはモデルが次のトークンを生成するプロセスを変更するため、モデルの安全性(有害な要求の拒否など)やエージェントレベルでのツール呼び出しに影響を与える可能性がある。この挙動の変化は「サンプリングドリフト」と呼ばれ、実験により、モデルの拒否行動とエージェントのツール呼び出しの両方で実際に観測された。この効果はモデルやキーに依存し、集計スコアでは見えにくい場合がある。特に、プロンプトインジェクション下では、電子透かしがモデルの拒否行動を弱める傾向が顕著になることが示された。これは、AIの安全性とセキュリティにとって重要な意味を持つ。電子透かしの導入や設定変更時には、特に敵対的な入力下での挙動を再評価する必要がある。