Tiered Tables in Hybrid Manager#
Hybrid ManagerHMの階層テーブルは、古いデータをPGDクラスターからApache Iceberg形式の費用対効果の高いオブジェクトストレージに移動することにより、大規模な時系列または履歴データセットを管理するための自動ソリューションを提供します。
ハブクイックリンク Analytics Hub — コアコンセプト — 関連するハウツー
ハイブリッドマネージャーは、この機能を次の全体にわたって統合します。
BDR AutoPartitionを使用したPGDクラスター
オフロードのためのPGAA拡張機能
クエリーのためのレイクハウスクラスター
一元化カタログサービスLakekeeperまたは外部Icebergカタログ
階層テーブルの概念的な概要については、 ハイブリッドマネージャーの階層化テーブル を参照してください。
ハイブリッドマネージャーで階層化テーブルを使用する理由#
ストレージコストの削減 「コールド」データをオブジェクトストレージIcebergにオフロードし、プライマリPGDトランザクションテーブルを縮小します。
トランザクションパフォーマンスの高速化 効率的なPGD操作のために、「ホット」データパーティションを小さく保ちます。
自動ライフサイクル管理 経過期間に基づいて、階層間でデータを自動的に移動します。
透過的分析 PGD親テーブルまたはレイクハウスクラスターを介してホットデータとコールドデータの両方を照会します。
統合管理 ハイブリッドマネージャーを介してすべてのコンポーネントを構成および監視します。
重要な用語とアーキテクチャの概要#
ハイブリッドマネージャーPGFS、PGAA、アナリティクスオフロード、レイクハウスなどで使用される分析用語の定義については、 Analytics concepts (hub) を参照してください。
ハイブリッドマネージャーで階層化テーブルを使用する必要がある場合#
次の場合にハイブリッドマネージャーの階層テーブルを使用します。
大規模な時系列データセットを費用効率の高い方法で管理 。
パフォーマンスを向上させるために、PGD操作テーブルをリーンに保ちます 。
古いデータを利用可能な状態にしておくことにより、コンプライアンスニーズに対応しますが、PGDストレージの外部にあります。
BIユーザーが運用データベースに影響を与えることなく履歴トレンドクエリを実行できるようにします 。
最小限の手動介入で データライフサイクル を自動化します。
階層化テーブルのユースケース#
時系列データ ロギング、IoTセンサーの読み取り値、アプリケーションテレメトリ。
アーカイブ コンプライアンスのためのコールドデータの長期保持。
ヒストリカルトレンド分析 PGDのパフォーマンスに影響を与えることなく、長年のデータを照会するBIツール。
大規模な追加ほとんどのテーブル 完全な分析アクセスを維持しながら、トランザクションのフットプリントを小さく保ちます。
HMアーキテクチャでの階層テーブルの仕組み#
PGDクラスター パーティショニングと古いパーティションのIcebergへの自動オフロードを管理します。
PGFSストレージの場所 オフロードのオブジェクトストレージターゲットを定義します。
Icebergカタログ オプションでカタログLakekeeperまたは外部でオフロードされたテーブルを管理します。
レイクハウスクラスター オフロードされたIcebergデータを照会するためのスケーラブルな分析コンピューティングを提供します。
モニタリング HMモニタリングツールと可観測性クエリを使用して、オフロードステータスとストレージの節約を追跡します。
EDB Hybrid Manager内の前提条件#
HMに階層テーブルを実装する前に
アクティブなハイブリッドマネージャーインスタンス
プロビジョニングされたPGDクラスター PGAAおよびPGFS拡張機能が有効になったバージョン6.0+
レイクハウスクラスター推奨 オフロードデータの照会用
カタログサービス オプショナルただし推奨 — HM管理のLakekeeperまたは外部REST互換カタログ
カタログのマシンユーザーカタログを使用する場合 適切なカタログデータのライタ/読み取り権限がある場合
オブジェクトストレージ S3互換、プライベートの場合資格情報あり
ユーザー権限 データベースユーザーはBDRおよびPGAAファンクションの作成/変更/実行権限を持っている必要があります
メイン機能#
自動パーティショニング BDR AutoPartitionストラテジーと
analytics_offload_periodを定義します。ストレージ階層化 オフロードデータにはPGFSまたはIcebergカタログターゲットを使用します。
クエリの透過的 PGD親テーブルクエリは、ローカル層とアイスバーグ層の両方にヒットする可能性があります。 Lakehouseクラスターは、Icebergテーブルを直接照会できます。
モニタステータス オフロードの進行状況を追跡し、Icebergコンテンツを検証し、領域の節約を観察します。
ハイブリッドマネージャーでの階層化テーブルのスタートガイド#
ハイブリッドマネージャーで階層テーブルの使用を開始するには
Configure PGFS オブジェクトストレージアクセス。
ハイブリッドマネージャーの階層化テーブル を学習し、PGDでポリシーAutoPartition、オフロード期間を適用します。
オプション エンジン間の相互運用性が必要な場合、カタログLakekeeperまたは外部を使用します。
Lakehouseクラスターを介して、オフロードされたIcebergデータを照会します。
関連リソース#
可観測性のヒント#
PGDクラスターの状態とオフロードの進行状況にはHMダッシュボードを使用します。
bdr.analytics_tableおよびパーティションビューで分析クエリを実行します。pg_total_relation_size()を使用して、PGDノードで再利用された領域を観察します。クラウドストレージコンソールまたは分析を使用して、Icebergオブジェクトサイズの増加を追跡します。