Delta Lake in Hybrid Manager#
Delta Lakeは、データレイクにACIDトランザクションと信頼性をもたらすオープンソースのテーブル形式です。
ハブクイックリンク Analytics Hub — コアコンセプト — 関連するハウツー
Hybrid ManagerHMは、Delta Lake機能をEDB Postgres展開に統合し、Lakehouseクラスターがオブジェクトストレージに保存されているDelta Lakeテーブルを照会できるようにします。
Delta Lakeの一般的な概要については、 Delta Lake in Hybrid Manager を参照してください。
ハイブリッドマネージャーでDelta Lakeを使用する理由#
既存のデルタレイクを照会する 高速なPostgres SQLを使用して、Delta Lakeフォーマットで既に構築されているデータレイクを活用します。
分析パイプラインの簡素化 不要なETLを回避します-Postgresから適切な場所にDelta Lakeテーブルを照会します。
広範なエコシステムの統合 HM管理のPostgresを、Spark、Trino、Flink、およびその他のツールによって生成されたDelta Lakeデータに接続します。
費用対効果の高いレイクハウスアーキテクチャ 大規模なデータセットをオブジェクトストレージに保存し、レイクハウスクラスターを介してクエリします。
重要な用語とアーキテクチャの概要#
ハイブリッドマネージャーPGFS、PGAA、レイクハウス、アナリティクスオフロードなどで使用される分析用語の定義については、 Analytics concepts (hub) を参照してください。
ハイブリッドマネージャーでDelta Lakeを使用するのはどのような場合ですか?#
次の場合にハイブリッドマネージャーでDelta Lakeを使用します。
デルタレイクフォーマットで構築された 既存のデータレイクを照会 、ETLまたはデータの重複なし。
Postgresとデータレイクエコシステムの統合 - Postgres SQLクライアントからDelta Lakeテーブルを照会します。
運用中のPostgresデータとデータレイクデータにわたって 統合分析を有効にします 。
使い慣れたPostgresツールを使用して、Delta Lakeコンテンツの サポートBIツールとアドホッククエリー 。
大規模なデルタデータセットでのスケーラブルで高速なSQLのために、 レイクハウスクラスターを活用します 。
重要: PGAAは現在、Delta Lakeテーブルで 読み取り専用クエリー をサポートしています。 PGAAを介したデルタテーブルの書き込みまたは更新はサポートされていません。
ハイブリッドマネージャーのDelta Lakeの主要機能#
既存のDelta Lakeテーブルの照会#
内容 オブジェクトストレージに保存されているDelta LakeテーブルでSQLクエリーを実行します。
理由 BIツールとPostgresユーザーが既存のDelta Lakeデータを複製または移動せずに照会できるようにします。
方法 LakehouseクラスターでPGFSストレージの場所とPGAA外部テーブルを定義します。
ここで Delta Lakeフォーマット_delta_log +
Parquetファイルを使用したS3互換オブジェクトストレージ。
Postgres + Delta Lakeの統合の簡素化#
内容 HM Lakehouseクラスターを、Sparkまたはその他のツールで作成したDelta Lakeテーブルに接続します。
理由 運用システムとデータレイクシステム全体で統合されたレポートと分析を構築します。
方法 Delta Lakeパスを指すPGFSストレージ場所とPGAAリーダーテーブルを作成します。
ここで Delta Lakeパイプラインが使用する共有オブジェクトストレージの場所。
ハウツー Configure PGFS
統合SQLベースの分析のサポート#
内容 運用データとDelta Lakeデータの両方でPostgres SQLクエリーを有効にします。
理由 アプリケーション開発者、データサイエンティスト、およびBIユーザーが、複雑なツールを使用せずにデータレイクコンテンツを照会できるようにします。
方法 LakehouseクラスターでPGAAリーダーテーブルを使用します。オプションでPostgresデータと結合します。
ここで オブジェクトストレージのDelta Lakeテーブル+ LakehouseクラスターまたはFDW / dblink経由のPostgresテーブル。
ハイブリッドマネージャーでのDelta Lakeのスタートガイド#
ハイブリッドマネージャーでDelta Lakeの使用を開始するには
Delta Lakeオブジェクトストレージを指す Configure PGFS 。
Lakehouseクラスターで
pgaa拡張機能を有効にします。Delta LakeパスのPGAAリーダーテーブルを作成します。
標準のPostgresクライアントを使用してDelta Lakeテーブルを照会します。