Hugging Faceのトレーニングデータ7.6ペタバイトから機密情報をスキャン、22万件超の認証情報を発見
Scanning 7.6 Petabytes of HuggingFace Training Data for Secrets
Truffle Securityは、Hugging Face上の公開データセット全体(7.6ペタバイト、1億8700万ファイル)をスキャンし、22万1303件の有効な認証情報(APIキー、トークン、データベースログイン情報など)が6003のデータセットに含まれていることを発見した。これらの認証情報には、個人情報(PII)393GBへのアクセス権を持つものや、ソフトウェアにコードをプッシュできるトークン、クラウドストレージバケット、ホスト型データベース、クラウド管理キーなどが含まれていた。特に、GitHubのパーソナルアクセストークン349件、Docker Hubトークン318件、Google Cloudサービスアカウントキー8557件、AWS S3バケット情報51.7TB、データベースログイン情報8594件、Slackトークン231件、Mailgunキー5654件などが確認された。また、AIサービス(OpenAI、Anthropic、Geminiなど)のAPIキー11496件も発見され、これらは年間約92万ドルの推論コストに相当する可能性がある。これらの発見はHugging Faceと共有され、同社はスキャンツールのTruffleHogにストレージバケットのスキャン機能を追加するなど協力した。記事では、データセットの公開前スキャン、認証情報のローテーション、プロバイダーによる一括失効などの対策を推奨している。
- Hugging Face上の公開データセット全体(7.6ペタバイト、1億8700万ファイル)をスキャンし、22万1303件の有効な認証情報が6003のデータセットに含まれていたことを発見
- 検出された認証情報には、GitHubアクセストークン349件、Google Cloudサービスアカウントキー8557件、AIサービスAPIキー11496件(OpenAI、Anthropic、Gemini等)が含まれ、年間約92万ドルの推論コストに相当する可能性
AIデータ基盤における認証情報漏洩リスクは、MLOps・AIインフラ市場の成長を牽引する一方で、セキュリティ対策の需要を生む。特に、AIモデル開発企業にとって、公開データセット内部の認証情報流出は、クラウドリソース悪用や企業秘密漏洩のリスクを孕み、セキュリティ監査・シークレットスキャン市場の拡大要因となる。Truffle Securityのようなシークレットスキャン企業の価値向上が期待される。