Configure PGD node group for analytics offload

Configure PGD node group for analytics offload#

PGFSストレージの場所を構成した後、階層テーブルの分析データをオフロードするように PGDノードグループ を構成する必要があります。

次のことを選択できます。

  • カタログなしのオフロード 簡単なセットアップ - ファイルシステムベースのIcebergテーブル、または

  • Icebergカタログへのオフロード 推奨 - 外部ツールとの相互運用性を有効にします

オフロード用にPGDノードグループを構成する理由#

これを構成すると

  • BDR AutoPartitionによって作成された コールドパーティションの自動オフロード を有効にしている。

  • オフロードデータの保存場所を制御できます生のファイルシステムパスまたはカタログ管理のIcebergテーブルとして。

  • この手順は、完全な 階層テーブル 動作を実装するために必要です。

背景については、次を参照してください。 ハイブリッドマネージャーの階層化テーブル

前提条件#

オフロード用にPGDノードグループを構成する前に

カタログなしのオフロード#

PGDを生のIcebergファイルシステムパスに直接オフロードする場合

ステップ1PGDノードグループを特定する#

SELECT node_group_name FROM bdr.node_group;

結果の例 edb_pgdx_node_group_1

ステップ2ノードグループオプション analytics_storage_location を設定する#

SELECT bdr.alter_node_group_option(
edb_pgdx_node_group_1,
analytics_storage_location,
hm_tiered_analytics_store
);

  • 'hm_tiered_analytics_store' をPGFS保存場所の名前に置き換えます。

結果

  • PGDは、対象となるパーティションをこの場所にあるファイルシステムベースのIcebergテーブルにオフロードします。

Icebergカタログを使用したオフロード推奨#

PGDを Icebergカタログ管理テーブル にオフロードする場合

ステップ1カタログが構成および接続されていることを確認します#

SELECT pgaa.add_catalog(
hm_main_lakekeeper,
iceberg-rest,
{
"url": "https://hm.example.com/catalog/v1",
"token": "your_hm_api_key",
"warehouse": "lakehouse_warehouse_1"
}
);

SELECT pgaa.attach_catalog(hm_main_lakekeeper);

ステップ2ノードグループオプション analytics_write_catalog を設定する#

SELECT bdr.alter_node_group_option(
edb_pgdx_node_group_1,
analytics_write_catalog,
hm_main_lakekeeper
);

  • 'hm_main_lakekeeper' を、接続したカタログの名前に置き換えます。

結果

  • PGDは、対象となるパーティションを このカタログによって管理されるIcebergテーブル としてオフロードします。

構成を検証する#

これを実行して確認します。

SELECT * FROM bdr.node_group_option WHERE node_group_name = edb_pgdx_node_group_1;

いずれか が表示されます。

  • analytics_storage_location セットカタログなし、または

  • analytics_write_catalog セットカタログを使用します。

注#

  • analytics_storage_location または analytics_write_catalog の いずれか 両方ではなく設定する必要があります。

  • オフロードデータを次の方法で照会可能にしたい場合は、カタログを使用することを強くお勧めします。

  • レイクハウスクラスター

  • 外部分析エンジン Spark、Trinoなど

  • カタログを使用しない場合、オフロードされたテーブルはPGFSの場所のファイルシステムパスに書き込まれます。内部使用に適していますが、相互運用が困難です。

次のステップ#

これで、PGDノードグループオフロードの構成が完了しました。

関連概念#

これが階層テーブルフローにどのように適合するかのアーキテクチャビューについては、次を参照してください。 ハイブリッドマネージャーの階層化テーブル

目次