Query Delta Lake tables

Query Delta Lake tables#

このガイドでは、ハイブリッドマネージャーHMレイクハウスクラスターから既存のDelta Lakeテーブルを照会する方法について説明します。

Lakehouseクラスターをオブジェクトストレージに保存されているDelta Lakeデータに接続し、PGAAを使用してSQLクエリーを実行できます。

Delta Lake統合の背景については、 Delta Lake in Hybrid Manager を参照してください。 ##ゴール

このガイドを完了すると、次のことを行います。

チェック デルタレイクデータを指すPGFSストレージ場所を定義できること チェック デルタレイクデータをPostgres SQLに公開するPGAAリーダーテーブルを作成できること チェック 既存のDelta LakeテーブルへのSQLベースの分析とBIアクセスのロックを解除します チェック Postgresを有効にする移動またはETLなしでデルタデータを照会するためのツールとユーザー ##これを使用する場合

次の場合にこのガイドに従う必要があります。

  • オブジェクトストレージの場所にDelta Lakeテーブルが既にあります

  • ハイブリッドマネージャーのLakehouseクラスターを使用してこのデータを照会したい

  • BIツールまたはPostgresクライアントをDelta Lakeデータに接続したい

  • デルタ##前提条件とのレイクハウスの統合をテストまたは検証しています

  • ハイブリッドマネージャーを介してプロビジョニングされたアクティブなLakehouseクラスター

  • S3互換のオブジェクト保存場所のDelta Lakeテーブル

  • _delta_logディレクトリとParquetファイルはDelta Lakeパスに存在する必要があります

  • オブジェクトストレージにアクセスするための資格情報必要な場合 ## ステップ

1.PGFSストレージの場所を定義する#

Lakehouseクラスターに接続し、PGFSストレージの場所を定義します。

パブリックバケットの例

SELECT pgfs.create_storage_location(
name => my_public_delta_lake_store,
url => s3://my-public-delta-data/,
options => {"aws_skip_signature": "true"},
credentials => {}
);

プライベートバケットの例

edb_notranlate_1 ### 2.PGAA拡張機能を有効にする

edb_notranlate_2 ### 3. Delta LakeのPGAA外部テーブルを作成します

これにより、Delta LakeテーブルがPostgres SQLに公開されます。

edb_notranlate_3 ### 4. Delta Lakeデータの照会

例 レコード数を取得します。

SELECT COUNT(*) FROM public.sales_delta_table;

例フィルターとプロジェクト列。

sql SELECT order_id, customer_name, sale_amount FROM public.sales_delta_table WHERE sale_date >= 2023-01-01 AND product_category = Electronics LIMIT 100; ## 注

  • デルタレイクスキーマは_delta_logから推測されます

  • Lakehouseクラスターは、高速なクエリのためにベクトル化されたクエリエンジンを使用します

  • カタログ統合は必要ありません — Delta Lakeはファイルシステムベースです ## 次のステップ

Delta Lake外部テーブルを作成し、クエリを実行しました。

目次