Configure PGFS for Delta Lake

Configure PGFS for Delta Lake#

このガイドでは、ハイブリッドマネージャーHMレイクハウスクラスターでPGFS EDB Postgresファイルシステムストレージの場所を構成し、オブジェクトストレージに保存されているDelta Lakeテーブルの照会を有効にする方法について説明します。

Delta LakeテーブルをポイントするPGAA外部テーブルを作成する前に、PGFSロケーションを構成する必要があります。

HMでのDelta Lake統合の背景については、次を参照してください。 Delta Lake in Hybrid Manager

前提条件#

デルタレイクのPGFSを構成する前に

  • ハイブリッドマネージャーでLakehouseクラスターをプロビジョニングしている。まだ完了していない場合は、次を参照してください。 Create a Lakehouse cluster

  • S3互換のオブジェクトストレージバケットに保存されている既存のDelta Lakeテーブルがある。バケットには次の両方を含める必要があります。

  • 寄木細工のデータファイル

  • Delta Lakeトランザクションログが含まれる_delta_log ディレクトリ

  • バケットのアクセス資格情報があるプライベートの場合。

  • SQLクライアントがLakehouseクラスターに接続されています。

  • psql

  • DBeaver

  • pgAdmin

  • Postgres互換クライアント

ステップ#

ステップ1PGFSストレージの場所を作成する#

pgfs.create_storage_location() を実行して、オブジェクトの保存場所を登録します。

必要な数のPGFSロケーションを、バケットごとにまたはデルタテーブルの論理グループごとに1つ作成できます。

例 パブリックバケット#

SELECT pgfs.create_storage_location( name => ‘my_public_delta_lake_store’, url => ‘s3://my-public-delta-data/’, options => ‘{“aws_skip_signature”: “true”}’, credentials => ‘{ }’ );

例 プライベートバケットAWS S3#

SELECT pgfs.create_storage_location( name => ‘my_private_delta_lake_assets’、 url => ‘s3://my-private-delta-data/’、 options => ‘{}’、 credentials => ‘{“access_key_id”: “YOUR_AWS_ACCESS_KEY_ID” , “secret_access_key”: “YOUR_AWS_SECRET_ACCESS_KEY”}’ );

ステップ2PGFSの場所を検証する#

次を実行して、すべてのPGFSストレージ場所をリストします。

SELECT * FROM pgfs.list_storage_locations();

新しい場所 my_private_delta_lake_assets など リストに表示されることを確認します。

注#

  • PGFS格納場所は、PGAA外部テーブル定義で使用できます。

  • 複数のPGFSの場所を定義できます。Delta Lakeテーブルがバケット全体に分散されている場合に役立ちます。

  • ストレージ場所は、S3互換オブジェクトストアをポイントできます。

  • AWS S3

  • Google Cloud Storage

  • Azureストレージ

  • MinIO

  • その他の互換性のあるシステム

  • 階層テーブルのPGFSを構成する場合、次を参照してください。 Configure PGFS storage for Tiered Tables

次のステップ#

これで、PGFSストレージの場所の構成が完了しました。

  • PGAAリーダーテーブルを使用して、Lakehouseクラスターから 既存のDelta Lakeテーブルを照会 できます。 Query Delta Lake tables

  • 大規模なDelta Lakeテーブルで クエリパフォーマンスを調整 して、ベクトル化されたクエリ効率を最大化できます。 Performance tuning for Delta Lake queries

  • **ハイブリッドマネージャーでDelta Lakeの概念とアーキテクチャを確認して、これが分析スタックにどのように適合するかを理解できます。 Delta Lake in Hybrid Manager

目次