Delta Lake Table tools

Delta Lakeテーブルの作成

deltalake Pythonライブラリの使用

deltalake Pythonライブラリを使用して、デルタテーブルを作成し、バケットに書き込むことができます

lakehouse-loader ユーティリティの使用

EDBがこのタスク用に作成した lakehouse-loader ユーティリティを使用して、任意のPostgresインスタンスからストレージバケットのレイクハウステーブルにデータをエクスポートすることもできます。

例、 lakehouse-loader ユーティリティを使用する場合

export PGPASSWORD="..."
export AWS_ACCESS_KEY_ID="..."
export AWS_SECRET_ACCESS_KEY="..."

#  export other AWS envvars

./lakehouse-loader postgres-to-delta postgres://test-user@localhost:5432/test-db -q "SELECT * FROM some_table" s3://my-bucket/my_schema/my_table

これにより、test-db データベースのsome_table テーブルからmy-bucket バケットのmy_schema/my_table パスのデルタテーブルにデータがエクスポートされます。

my_schema/my_table パスのデルタテーブルを参照する外部テーブルを作成することにより、Lakehouseノードでこのテーブルを照会できるようになりました。その方法の詳細については、 External Tables を参照してください。