Delta Lake Table tools

Delta Lake Table tools#

Delta Lake テーブルの作成#

deltalake Pythonライブラリの使用#

deltalake Python ライブラリを使用してデルタ テーブルを作成し、バケットに書き込むことができます。

lakehouse-loader ユーティリティの使用#

また、EDB がこのタスク用に作成した lakehouse-loader ユーティリティを使用して、任意の Postgres インスタンスからストレージ バケット内の Lakehouse テーブルにデータをエクスポートすることもできます。

たとえば、lakehouse-loader ユーティリティの場合:

export PGPASSWORD="..."
export AWS_ACCESS_KEY_ID="..."
export AWS_SECRET_ACCESS_KEY="..."

#  export other AWS envvars

./lakehouse-loader postgres-to-delta postgres://test-user@localhost:5432/test-db -q "SELECT * FROM some_table" s3://my-bucket/my_schema/my_table

このコードは、test-db データベースの some_table テーブルから my-bucket バケットの my_schema/my_table パスにある Delta テーブルにデータをエクスポートします。

my_schema/my_table パスの Delta テーブルを参照する外部テーブルを作成することで、Lakehouse ノードでこのテーブルをクエリできます。実行方法の詳細については、 Querying Delta Lake Tables を参照してください。

目次