Delta Lake Table tools

Delta Lake Table tools#

Delta Lakeテーブルの作成#

deltalake Pythonライブラリの使用#

deltalake Pythonライブラリを使用して、デルタテーブルを作成し、バケットに書き込むことができます。

lakehouse-loader ユーティリティの使用#

EDBがこのタスク用に作成した lakehouse-loader ユーティリティを使用して、任意のPostgresインスタンスからストレージバケットのLakehouseテーブルにデータをエクスポートすることもできます。

例、 lakehouse-loaderユーティリティを使用する場合

export PGPASSWORD="..."
export AWS_ACCESS_KEY_ID="..."
export AWS_SECRET_ACCESS_KEY="..."

#  export other AWS envvars

./lakehouse-loader postgres-to-delta postgres://test-user@localhost:5432/test-db -q "SELECT * FROM some_table" s3://my-bucket/my_schema/my_table

このコードは、 test-db データベースのsome_table テーブルからmy-bucket バケットのmy_schema/my_table パスのデルタテーブルにデータをエクスポートします。

次に、 my_schema/my_table パスのデルタテーブルを参照する外部テーブルを作成することにより、Lakehouseノードでこのテーブルを照会できます。これを行う方法の詳細については、 How-To Lakehouse Read With/Without A Catalog を参照してください。

目次