プロプライエタリLLM APIから推論トレースを盗む方法の実証

OpenAI、Anthropic、Googleの最先端LLMから推論トレースを盗む手法が実証された。この手法は、APIが報告する隠れ思考トークン数と、デコードされた推論のトークン数を比較することで機能する。GitHubとHugging Faceから収集された6,708件のエージェント軌跡データに対し、このデコードパイプラインを適用した結果、315,320件の再構築された推論ブロックが得られた。これらの隠れトレースからは、62件のAPIキー、33件のパスワード、24件のアクセストークン、30件の個人メールアドレスなど、704件のプライバシーに関わる情報が復元された。これらのうち64件は、可視セッションには存在せず、推論ブロック内にのみ含まれていた。また、有害コンテンツに関する推論を隠蔽し、安全な回答のみを表示するモデルに対しても、この攻撃は隠された有害な知識を平文で復元できることが示された。