LeRobotDataset:v3.0 リリース:大規模データセットを lerobot へ
`LeRobotDataset:v3.0`: Bringing large-scale datasets to `lerobot`
Hugging Face は、ロボット学習向けに設計された標準化されたデータセットフォーマットである LeRobotDataset のバージョン3.0をリリースしました。v3.0では、数百万エピソードを扱う際のファイルシステム制限に対処するため、複数のエピソードを単一ファイルにパックし、リレーショナルメタデータを使用して個々のエピソード情報を取得する形式に変更されました。また、データセットをストリーミングモードで直接処理できる機能もネイティブサポートされました。これにより、ディスクに大量のデータをダウンロードすることなく、大規模データセットをオンザフライで処理できるようになります。この新フォーマットは、lerobotライブラリのv0.4.0から提供される予定ですが、現行のv0.3.xでも変換ツールを使用してv3.0形式に移行できます。データは、Apache Parquetファイル(低次元・高頻度データ)、MP4ファイル(カメラデータ)、およびJSONファイル(メタデータ)の3つの主要コンポーネントに整理されます。メタデータには、データセットのスキーマ、フレームレート、正規化統計、エピソード境界などが含まれます。この改善により、ロボット学習コミュニティは、より大規模でアクセスしやすいデータセットを活用できるようになります。
- Hugging Face がロボット学習向けデータセットフォーマット LeRobotDataset v3.0 をリリース
Hugging Face がロボット学習向けデータセットフォーマット LeRobotDataset v3.0 をリリースした。数百万エピソード級の大規模ロボット学習データを効率的に扱えるようになる点が重要。特にストリーミング対応により、ディスク容量を気にせず大規模データをオンザフライで処理できるようになったことで、ロボットの模倣学習や基盤モデル開発の参入障壁が下がる。Hugging Face がロボット分野のデータ基盤を標準化しつつある動きは、データプラットフォーム企業としてのロックイン強化につながり、長期的なエコシステム価値を押し上げる可能性がある。