Databricks、AIエージェントのボトルネックとなっていたデータパイプライン問題を解決する新製品を発表
Databricks says it solved the decades-old data pipeline problem that's been slowing AI agents
Databricksは、長年データ専門家を悩ませてきた運用データと分析データの統合管理におけるレイテンシとパフォーマンス低下の問題を解決するため、2つの新製品「Lakehouse//RT」と「LTAP(Lake Transactional/Analytical Processing)」を発表した。Lakehouse//RTは、ガバナンスされたDeltaおよびIcebergテーブル上でミリ秒単位のクエリレイテンシを実現し、従来のリアルタイムサービング層を不要にする。LTAPは、Postgresネイティブのトランザクションデータを書き込み時点でDeltaおよびIcebergフォーマットで保存し、運用システムと分析システムを接続してきたETLパイプラインを排除する。これにより、AIエージェントがリアルタイムデータに基づいて継続的に推論し、行動するために必要な、シンプルで高速なデータスタックを提供する。これは、従来のHTAP(Hybrid Transactional/Analytical Processing)がエンジン統合を目指したのに対し、LTAPはストレージ層でのデータ統合を目指すアプローチである。
- DatabricksがLakehouse//RTとLTAPという2つの新製品を発表した
- LTAPはPostgresネイティブのトランザクションデータをDeltaおよびIcebergフォーマットで保存し、ETLパイプラインを排除する
- Lakehouse//RTはDeltaおよびIcebergテーブル上でミリ秒単位のクエリレイテンシを実現する
Databricksが発表したLakehouse//RTとLTAPは、長年データインフラの課題だった運用系・分析系データの統合をストレージ層で実現する画期的なアプローチだ。従来のHTAP(エンジン統合)とは異なるレイヤーでの解決策であり、AIエージェント向けリアルタイムデータ処理の新たな標準となる可能性がある。Databricksのプラットフォーム強化により、競合するSnowflakeや従来のETLツールベンダーへの競争圧力が高まるため、データ基盤ベンダーの勢力図変化を注視すべき。