Replicating with PGD

Replicating with PGD#

Postgres Distributed PGDとPostgres Analytics Accelerator PGAAを統合して、統一アーキテクチャ内で完全なデータライフサイクルを管理します。 PGDはホットデータの高可用性トランザクションバックボーンを提供し、PGAAはオブジェクトストレージ内のコールドデータのベクトル化エンジンとクラウドネイティブハンドラーを提供します。

このコラボレーションでは、2つの異なるストレージ階層を作成します。

  • ホットティアPGD ミリ秒未満のレイテンシーと完全なACIDコンプライアンスを必要とする現在の操作データ用のローカルPostgreSQLストレージ。

  • コールド層PGAA 高速分析クエリ用に最適化されたApache Iceberg®またはDelta Lakeのようなカラムナフォーマットを使用した費用対効果の高いオブジェクトストレージ。

これらを組み合わせることで、統合されたPostgresインターフェイスを介した透過的なアクセスを維持しながら、高性能トランザクションストレージから費用対効果の高いデータレイクにデータをシームレスに移行できます。このアーキテクチャは、インパクトの高いさまざまなユースケースをサポートしています。

  • 規制へのコンプライアンス 古いデータと監査証跡をオフロードして、長期的な保持を保証しながら、無駄のない高性能システムを維持します。 - 時系列とIoT センサーとイベントストリームの費用対効果の高いコールド履歴分析と、ホットな最近のデータを使用したリアルタイムダッシュボードのバランスをとります。 - 金融サービス トランザクションストレージコストを高騰させることなく、必要な大量の履歴取引レコードを管理します。 - 小売および季節的なビジネスサイクル 適応ポリシーを使用して、古いレコードをコールドストレージに階層化しながら、カスタマーサービスのためにピークシーズンの注文データをホットに保ちます。

テーブルタイプを理解する#

このアーキテクチャは、2つの異なるストレージ層ホット層ローカルSSD、ミリ秒未満のレイテンシーとコールド層オブジェクトストレージ、カラムナーフォーマットを実装しています。データは、次の3つの異なるテーブルタイプのいずれかに存在します。

Table type

Storage location

Behavior

Heap

Local disk only

ホット層の標準のトランザクションテーブル。

Hybrid Analytics and Transactional Processing (HTAP)

Local + object storage

分析コピーにマッピングされたヒープテーブル。 PGDは、すべての変更をほぼリアルタイムで複製します。

PGAA

Object storage only

デルタまたはアイスバーグ形式で利用可能な純粋な分析コールドテーブル。

階層化ストレージ戦略#

運用ニーズに基づいて、層間でデータを移行するには3つの使用可能な方法があります。

階層テーブルの実装#

この方法では、 PGD AutoPartition を活用して、大容量データのライフサイクルを自動化します。ヒープテーブルは、次のパーティション構造に変換されます。- ホットパーティション 最近のデータは、アクティブな処理のヒープまたはenable_replication が有効になっている場合はHTAPとして残ります。 - コールドパーティション パーティションが経過期間のしきい値を超えると、PGDはそれらをオブジェクトストレージに大量コピーし、PGAAテーブルに変換し、ローカルディスク領域を再利用して、データを照会可能に維持します。

アナリティクスへの複製#

このメソッドは、テーブルをオブジェクトストレージ内の分析コピーと継続的に同期します。ヒープテーブルはHTAPテーブルに変換されます。ユーザーには、標準のトランザクションテーブルのように見えますが、分析コピーはバックグラウンドで維持されます。

トランザクションのスループットに負担を与えることなく、ほぼリアルタイムの同期を保証するために、PGAAはIceberg Merge-on-ReadMoRを使用します。これは、データブロック全体を書き換えるのではなく、小さな「削除ファイル」で変更を記録し、最小限のオーバーヘッドでデータレイクを最新の状態に保ちます。

アナリティクスへのオフロード#

この方法は、 HTAPテーブルのローカルディスク領域をすぐに再利用し、オブジェクトストレージPGAAテーブルにコピーのみを残す1回限りの外科的方法を提供します。ローカルヒープコピーは切り捨てられ、テーブルアクセス方法はPGAA に変更されます。これはオブジェクトストレージをポイントするようになりました。

トランザクション書き込み用にデータを戻す必要がある場合は、オブジェクトストレージからローカルのPostgresヒープにテーブルを復元できます。

メソッド |目的 |ユースケース |原点テーブル |宛先テーブル ———-|—————————-|—— ——— | —– | ——- 階層化テーブル |自動化されたライフサイクル管理 |履歴の保持が重要かつ自動化されている大量の時系列データ。 |ヒープ |ヒープまたはHTAPホット PGAAコールド レプリケーション | レプリケーション | レプリケーション | レプリケーション | レプリケーション | レプリケーション継続的な同期 |一般的な分析のためにほぼリアルタイムでトランザクションテーブル をレプリケート。 |ヒープ | HTAPオフロード |選択的な アーカイブ |ワンタイムの外科的削除と 特定のテーブルのアーカイブ。 | HTAP | PGAA

メタデータ管理#

PGAAは、 PGDと統合するときにオブジェクトストアのメタデータを管理する2つの方法をサポートしています。

  • カタログオフロード storage locations を使用してメタデータをデータファイルとともに保存し、オブジェクトストレージに直接接続します。

  • カタログ管理オフロード Iceberg RESTなどのメタデータ Integrating with Iceberg catalogs からデータを分離します。

目次