Create a Lakehouse cluster#
このガイドでは、ハイブリッドマネージャーHMで レイクハウスクラスター を作成する方法について説明します。 Lakehouseクラスターは、オブジェクトストレージに保存されている Apache Iceberg または Delta Lake テーブルに対する高速クエリーに スケーラブルな分析コンピューティング を提供します。
アーキテクチャの背景については、 ハイブリッドマネージャーでLakehouseクラスターを使用する理由 を参照してください。
Lakehouseクラスターを作成する理由#
Lakehouseクラスターを作成することにより
オブジェクトストレージ内の 大規模なデータセットで高速Postgres SQLクエリを実行 できる機能のロックを解除します。
PGD または 外部Iceberg/Delta Lakeテーブル からオフロードされた 階層テーブルを照会できます。
レイクハウスデータの BIツールとアドホック分析 のコンピューティングを提供します。
これは、ハイブリッドマネージャーで分析アーキテクチャを構築するための基礎的な手順です。
ゴール#
このハウツーを完了すると、次のことができるようになります。
Lakehouseクラスターを展開します。
標準のPostgresクライアントを使用して接続します。
IcebergおよびDelta Lakeテーブルを照会するためのストレージとカタログを構成します。
クラスターを使用して、既存のまたは新しく定義されたレイクハウステーブルを照会します。
前提条件#
始める前に
Lakehouseクラスターを作成する権限を持つHybrid Manager環境にアクセスしていること。
利用可能なオブジェクトストレージがあることS3、GCS、MinIOなど。
使用可能なIcebergまたはDelta Lakeテーブルがあるか、クラスターの作成後にそれらを定義する予定があります。
Icebergテーブルを使用する場合、Icebergカタログを準備しています。
ステップ#
ステップ1クラスターの作成を開始する#
HMダッシュボードで、 Create New をクリックします。
Lakehouse Analytics または 分析クラスター を選択します。
オープンレイクハウスフォーマットを照会するための分析クラスターを作成していることを確認します。
ステップ2自分の道を選択してください#
以下を選択するように求められます。
テンプレート — 事前構成されたテンプレートを使用します利用可能な場合。
カスタムビルド — 完全な構成制御には Start from Scratch をクリックしますほとんどの場合にお勧めします。
ステップ3クラスター設定を構成する#
クラスター設定#
クラスター名 — 一意の名前たとえば
sales_analytics_lakehouseを入力します。Password — 強力なスーパーユーザーパスワードを入力します。
タグ — オプションでタグを追加します
environment:production、project:q3-reportingなど。展開場所 — クラウドプロバイダーとリージョンを選択します。
データベースタイプ — EDB Postgres Extended ServerまたはAdvanced Serverを選択します。
Postgresバージョン — Lakehouse拡張機能を含むサポートされているバージョンを選択します。
インスタンスサイズ — ワークロードに適切なコンピューティングサイズを選択します。
追加設定#
ネットワーク — VPC、サブネット、セキュリティグループ、IPホワイトリストを構成します。
バックアップ — 必要に応じてバックアップ設定を構成します。
ステップ4確認と作成#
クラスターの概要 を確認します。
すべての設定を確認します。
Create Cluster をクリックします。
HMダッシュボードで進行状況を監視します。
次にできること#
Lakehouseクラスターがプロビジョニングされたため、次のことができます。
クラスターに接続して SQLクエリーを実行します。HM提供の接続の詳細で標準のPostgresクライアントpsql、DBeaver、pgAdminを使用します。
データにアクセスするようにストレージとカタログを構成します
Configure PGFS for Delta Lake — Delta LakeまたはファイルシステムベースのIcebergを照会する場合。
Configure an Iceberg REST catalog connection — カタログ管理のIcebergテーブルを照会する場合、またはPGD階層化テーブルを使用する場合。
レイクハウステーブルの定義と照会
PGDからオフロードされたクエリ階層テーブル