Hugging Face HubにおけるParquetファイルの重複排除の改善
Improving Parquet Dedupe on Hugging Face Hub
Hugging Face Hubでは、データセットの更新効率を高めるため、Parquetファイルの重複排除が重要となっている。従来のバイトレベルのContent-Defined Chunking (CDC) は挿入・削除に強いが、Parquetのレイアウトには課題がある。2GBのFineWebデータセット(10億9200万行)を用いて実験した結果、ファイルの末尾への行追加(10,000行)では99.1%の重複排除率でストレージ容量の増加を20MBに抑えられた。しかし、行の変更(1000行目付近)では、Parquetの列ヘッダーに絶対ファイルオフセットが含まれるため、ファイル全体で変更が発生し、重複排除率は89%に低下し、ストレージ容量は230MB増加した。行の削除も同様に、行グループの再編成により重複排除率が低下する。圧縮を無効にすると重複排除率は向上するが、ファイルサイズは約2倍になる。解決策として、絶対オフセットの代わりに相対オフセットの使用や、行グループに対するContent-Defined Chunkingのサポートが提案されている。Hugging FaceはApache Arrowプロジェクトとの連携も模索している。
- Hugging FaceがParquetファイルの重複排除改善に関する実験結果を公開
Hugging Faceが大規模データセットのストレージ効率化に向けて、Parquetファイルの重複排除技術を改善している点は注目に値する。特にFineWebのような大規模データセット(10億行超)を扱うAI業界では、ストレージコストの増大が課題となっており、CDC技術の改良はクラウドストレージ費用の削減に直結する。ただし現状は改善途上であり、行の変更や削除時の効率低下が課題として残っている。Apache Arrowとの連携模索は、データフォーマット標準の動向としてウォッチすべきポイント。