Query Tiered Tables from PGD and Lakehouse

Query Tiered Tables from PGD and Lakehouse#

階層テーブルが実装されると、 ホットデータ ローカルPGDパーティションと コールドデータ オフロードされたIcebergパーティションの両方を透過的に照会できます。

このガイドでは、次のことを説明します。

  • PGDから階層テーブルを照会する方法

  • Lakehouseクラスターから階層テーブルを照会する方法

  • クエリプランナーがクエリをルーティングする方法

  • オフロード専用データを照会する方法

バックグラウンドについては、 ハイブリッドマネージャーの階層化テーブル を参照してください。

ゴール#

このガイドを完了すると、次のことを行います。

  • PGDおよびLakehouseから階層化テーブルを透過的に照会できるようになります

  • クエリプランナーがホットおよびコールドデータにアクセスする方法を理解する

  • オフロード専用 パーティションを直接照会する方法を理解する

  • レポートと分析にオフロードされたビューを使用する場合を理解する

これを使用する場合#

次の場合にこのガイドに従う必要があります。

  • ハイブリッドマネージャーに階層化テーブルを実装している

  • PGDクエリーでホット+コールドデータにアクセスできることを検証したい

  • PGDまたはLakehouseからオフロードされたデータのみを照会したい

  • 履歴コールドデータに対してレポートを最適化したい

前提条件#

PGDでの親テーブルの照会#

親パーティションテーブル public.application_logs などは、ホット+コールドデータの統一インターフェイスです。

クエリーの例

SELECT log_level, COUNT(*)
FROM public.application_logs
WHERE event_timestamp >= 2023-06-01 AND event_timestamp < 2024-06-01
GROUP BY log_level;

ボンネットの下で何が起こっているのか

  • プランナーは、ホットデータの ローカルPGDパーティション にアクセスします

  • プランナーは、コールドデータのPGAAを介して Icebergオフロードパーティション にアクセスします

  • クエリーに対して透過的 — 特別な構文は必要ありません

ヒント EXPLAIN ANALYZEを実行して、プランナーの動作を観察します。

オフロードデータのみの照会PGD#

PGAAは、 オフロードビュー を自動的に作成します。

SELECT * FROM public.application_logs_offloaded;

このビューは、 オフロードされたパーティションのみ を照会します。

例

SELECT log_level, COUNT(*)
FROM public.application_logs_offloaded;

オフロードビューを使用する場合

  • コールド/履歴 データのみをターゲットとしたレポート

  • ホットパーティションのスキャンを回避するクエリー

  • オフロードが予想通りに機能していることのテスト

Lakehouseからオフロードされたデータの照会#

PGDオフロードがカタログを使用する場合推奨、Lakehouseクラスターに同じカタログを接続します。

SELECT pgaa.add_catalog(...);

SELECT pgaa.attach_catalog(...);

次に、Icebergテーブルを直接照会します。

SELECT * FROM iot_data.application_logs_part_2023_jan;

または、 application_logs_offloaded ビューロジックをPGDからLakehouseに複製できます。

  • すべてのカタログ管理のオフロードパーティションを選択するビューを作成する

  • PGDエクスペリエンスと一致するBIツールに役立ちます

プランナーの動作に関する注意事項#

  • 親テーブル は常にデフォルトの推奨インターフェイスです

  • プランナーは、PGDとIcebergパーティションへのアクセスを自動的に最適化します

  • 広いタイムウィンドウ を使用するクエリーは、application_logs_offloaded をターゲットとすることによりメリットがある場合があります

  • オフロードビューは、AutoPartitionがanalytics_offload_period で構成された場合にのみ作成されます

次のステップ#

階層化テーブルの照会が完了しました。

より広範なアーキテクチャビューについては、 Analytics in Hybrid Manager を参照してください。

目次