MosaicLeaks: リサーチエージェントは秘密を守れるか?
MosaicLeaks: Can your research agent keep a secret?
Deep research agentがローカルのプライベート文書とWeb検索などの外部ツールを組み合わせる際、外部へのクエリが機密情報を漏洩するプライバシーリスクが指摘されている。この問題を「モザイク効果」と呼び、MosaicLeaksはこれを検証する新しいタスクを提案する。MosaicLeaksは、プライベート情報とパブリック情報を織り交ぜたマルチホップ質問を通じて、エージェントが機密情報を漏洩する可能性を評価する。実験では、多くのエージェントがプライベート情報を漏洩し、タスク性能のみを向上させる訓練はこれを悪化させることが判明した。そこで、プライバシーを考慮した強化学習手法「PA-DR (Privacy-Aware Deep Research)」が提案された。この手法により、タスクの成功率(strict chain success)は48.7%から58.7%に向上し、回答や完全な情報の漏洩率は34.0%から9.9%に大幅に削減された。PA-DRは、タスク遂行報酬と学習されたプライバシー報酬の2つを組み合わせることで、パフォーマンスを維持しながらプライバシー漏洩を抑制する。この手法は、従来のプロンプトによる指示よりも効果的であり、プライバシー保護には訓練による組み込みが必要であることを示唆している。
- リサーチエージェントがプライベート文書と外部ツールを組み合わせる際に、機密情報を漏洩する「モザイク効果」を検証するMosaicLeaksタスクが提案された。
- 提案手法PA-DR (Privacy-Aware Deep Research)により、strict chain successは48.7%から58.7%に向上し、情報漏洩率は34.0%から9.9%に削減された。
- プライバシー保護にはプロンプト指示ではなく訓練による組み込みが必要であることが示唆された。
本記事は、Deep Researchエージェントが外部ツールと連携する際に生じるプライバシー漏洩リスクを定量的に評価するベンチマーク「MosaicLeaks」と、それを解決する強化学習ベースの手法「PA-DR」を報告している。AIエージェントの実運用(特に企業の機密文書検索や法務・医療領域)ではプライバシー保護が重大な課題であり、本手法はタスク性能を維持しながら漏洩率を34.0%から9.9%に削減できる点で実用価値が高い。単なるプロンプト指示では不十分で、訓練による組み込みが必要という知見は、AIセキュリティ製品の設計やスタートアップの技術的優位性に直結する。