Offload PGD data to Apache Iceberg

Offload PGD data to Apache Iceberg#

このガイドでは、ハイブリッドマネージャーHMで PGDデータをApache Iceberg にオフロードする方法とタイミング、およびこれにより分析アーキテクチャに何が解除されるかについて説明します。

PGDデータをIcebergにオフロードする理由

  • コスト効率の高い階層化ストレージ 古いPGDデータ「コールドデータ」をオブジェクトストレージに移動して、プライマリデータベースのストレージコストを削減します。

  • PGDパフォーマンスの高速化 トランザクションワークロードに合わせて、PGD操作テーブルをより小さく、より高速に保ちます。

  • レイクハウス分析を有効にする スケーラブルなレイクハウスクラスターベクトル化クエリを使用して、アイスバーグ形式でオフロードデータを照会します。

  • 広範なデータ統合 オープンなIcebergフォーマットを介して他のツールSpark、Trino、FlinkでPGDデータを利用できるようにします。

これを使用する場合

  • 階層テーブル を実装する場合主な使用ケース

  • 統合されたPGD +外部分析を使用してエンタープライズ レイクハウスアーキテクチャ を構築する場合

  • 継続的なクエリアクセスニーズがある履歴PGDデータをアーカイブする場合

基本的な概念については、 ハイブリッドマネージャーの階層化テーブル を参照してください。

ハイブリッドマネージャーでのPGDオフロードの仕組み#

PGDデータのIcebergへのオフロードには、3つのレイヤーが含まれます。

Layer

Action

Storage

PGFSストレージの場所および/またはIcebergカタログオフロードされたデータの移動先を定義します。

Node group

このストレージターゲットを使用するようにPGDノードグループを構成します。

Table level

オフロードする各PGDテーブルの分析レプリケーションを有効にします。

前提条件#

PGDデータをオフロードする手順#

ステップ1ノードグループがオフロード用に構成されていることを確認する 必須#

  • PGFSのみを使用する場合 analytics_storage_location を設定します。

  • カタログを使用する場合 analytics_write_catalog を設定します。

参考 Configure PGD node group for analytics offload

ステップ2テーブルで分析レプリケーションを有効にする#

特定のPGDテーブルのオフロードを開始するには

ALTER TABLE public.operational_logs SET (pgd.replicate_to_analytics = TRUE);

結果

  • PGDは、このテーブルのデータをIcebergに自動的にレプリケートします。

  • フルテーブルオフロードを使用する場合 即時 。

  • 階層化テーブルおよびBDR AutoPartitionと組み合わせた場合、 パーティション 。

オフロードされたデータへのアクセス#

Icebergカタログを使用する場合#

  • Lakehouseクラスターにカタログをアタッチします。

SELECT pgaa.attach_catalog(your_catalog_alias);

  • オフロードされたテーブルをカタログ名で直接照会します。

PGFSのみを使用する場合ファイルシステムオフロード#

  • オブジェクトストレージのIcebergパスを指すPGAAリーダーテーブルを定義します。

CREATE TABLE public.operational_logs_offloaded (...) USING PGAA WITH (pgaa.path = s3://your/path, pgaa.format = iceberg);

注#

  • このメカニズムは 階層テーブル を強化します。 Configure BDR AutoPartition with analytics offload を使用する場合、古いパーティションは自動的にオフロードされます。

  • テーブルごとにオフロードを動的に有効/無効にできます。

  • オフロードされたデータは、Icebergで無期限に照会可能なままです。

これによりアンロックされるもの#

✅ 大規模なPGDテーブルのためのシームレスな階層ストレージ ✅ 履歴PGDデータの高速レイクハウス分析 ✅ オープンフォーマットIcebergの相互運用性 ✅ PGDの運用コストとフットプリントの削減

次のステップ#

PGDデータがIcebergにオフロードされるため、次のことができます。

より広範なアーキテクチャビューについては、 Analytics in Hybrid Manager を参照してください。

目次