Analytics Concepts in Hybrid Manager#
Hybrid Managerを使用すると、 EDB Postgresの最新のデータレイクハウスと分析ソリューションを構築できます。
ハブクイックリンク Analytics Hub — コアコンセプト — 関連するハウツー
このページでは、ハイブリッドマネージャーで適用される主要な概念を紹介します。背景に Analytics Hub の詳細な説明へのリンクがあります。
アーキテクチャの概要#
ハイブリッドマネージャーは、次のレイヤーを統合します。
スケーラブルな分析コンピューティングのための レイクハウスクラスター
コスト効率の高い分析データストレージのための Object Storage
トランザクションワークロードと自動階層テーブルオフロード用の PGDクラスター
メタデータと相互運用性のための カタログサービス HM管理または外部
PGAAおよびPGFS がPostgresをデータレイクにブリッジする
このアーキテクチャにより、Postgresファーストとマルチエンジンのデータレイクハウスデザインの両方が可能になります。
一般的な紹介については、 EDB Postgres Lakehouse Clusters on Hybrid Manager を参照してください。
ハイブリッドマネージャーの##レイクハウスクラスター
Lakehouseクラスターは、ハイブリッドマネージャーでスケーラブルな分析コンピューティングを提供します。
HMを介してプロビジョニングおよび管理
ベクトル化されたクエリ実行のためのPGAA拡張機能を装備
オブジェクトストレージIceberg、Delta Lakeのデータを照会するように設計
外部ツールSpark、Trinoとの相互運用性
レイクハウスクラスターは、ハイブリッドマネージャーの分析の中心です。
詳細はこちら EDB Postgres Lakehouse Clusters on Hybrid Manager
ハイブリッドマネージャーの## Apache Iceberg
Hybrid Managerは、オフロードデータと分析データのプライマリテーブル形式としてIcebergを統合します。
PGDクラスターは、階層化テーブルのIceberg形式にデータをオフロードします
LakehouseクラスターはIcebergテーブルを効率的に照会します
カタログサービスLakekeeperまたは外部は、Icebergテーブルのメタデータを管理します
Icebergは、HMのレイクハウスアーキテクチャのためのオープンで信頼性の高い基盤を提供します。
概念の概要 Apache Iceberg in Hybrid Manager
ハイブリッドマネージャーの## Delta Lake
Delta Lakeは、さらなる柔軟性を提供します。
Lakehouseクラスターは、オブジェクトストレージの既存のDelta Lakeテーブルを照会できます
Spark / Databricksパイプラインを使用する環境で一般的な
HMのDelta Lakeのサポートは現在読み取り専用です
ハイブリッドマネージャーは、ETLなしでDelta LakeデータのPostgresベースの分析を有効にします。
ハイブリッドマネージャーの階層化テーブル#
階層テーブルは、大規模な時系列または履歴データセットの自動ライフサイクル管理を提供します。
PGDクラスターはBDR AutoPartitionを使用してパーティションを管理します
古いパーティションは、Iceberg形式のオブジェクトストレージに自動的にオフロードされます
LakehouseクラスターとPGD親テーブルは、ホットデータとコールドデータの両方を照会できます
階層テーブルは、ハイブリッドマネージャーでトランザクションワークロードと分析ワークロードを結合するための重要な最適化パターンです。
概念の概要 ハイブリッドマネージャーの階層化テーブル
ハイブリッドマネージャーのPGAAおよびPGFS#
PGAAアナリティクスアクセラレーター#
PGAA拡張機能は以下を提供します。
ベクトル化されたクエリーの実行
PGFSを介したオブジェクトストレージとの統合
IcebergおよびDelta Lakeテーブルの照会のサポート
カタログの統合
PGAAは、レイクハウスクラスターとPGDオフロードパイプラインの両方を強化します。
PGFS Postgresファイルシステム#
PGFSはオブジェクト格納場所を定義します。
PGAAがオブジェクトストレージのデータの読み取り/書き込みに使用します
S3互換ストレージ、GCSなどをサポート
PGDクラスターとLakehouseクラスターの両方で構成
PGFSは、データレイク統合のためのシンプルですが重要なビルディングブロックです。
これらの概念がハイブリッドマネージャーでどのように適合するか#
Layer |
Role |
|---|---|
PGD Clusters |
Transactional layer, source for Tiered Tables |
Lakehouse Clusters |
Analytical compute, queries across Iceberg/Delta and Postgres |
Object Storage |
Cost-efficient analytical data storage |
Catalog Services |
Centralized metadata for Iceberg tables |
PGAA + PGFS |
Bridge between Postgres and object storage |