Known issues#

これらは、このアナリティクスアクセラレーターリリースで特定された現在既知の問題と制限です。必要に応じて、これらの問題の影響を軽減するために役立つ回避策を含めました。これらの問題は積極的に追跡され、将来のリリースで解決される予定です。

ファンクションpgaa.launch_task() は、Delta Lake z-order 、vacuum 、purge などの複数のメンテナンスオペレーションをサポートしていますが、現在Icebergテーブルのcompaction オペレーションのみをサポートしています。他のIcebergメンテナンスルーチンの場合は、 pgaa.spark_sql() を使用します。
ファンクション pgaa.execute_compaction() は、パラメーターsettings をサポートしていません。 pgaa.spark_sql() または pgaa.launch_task() を使用して、クラスターでSparkプロシージャを直接実行するか、Icebergテーブルのコンパクションを実行します。
Apache Sparkとの統合は、
- S3互換オブジェクトストレージまたは共有POSIXファイルシステムのParquetファイルの読み取り専用クエリーでサポートされています。
- Iceberg RESTカタログのIcebergテーブルの読み取り専用クエリー。
Apache SparkによるGPUアクセラレーションは、S3互換オブジェクトストレージまたは共有POSIXファイルシステムのParquetファイルの読み取り専用クエリでのみサポートされています。
Iceberg Sparkライブラリーバージョン1.9.2には、Sparkを使用してIcebergテーブルから読み取る場合の既知の問題があります。特定の条件下では、同時実行中に等価削除がスキップされる場合があります。現在の回避策は、spark-defaults.conf ファイルでSparkアプリケーション設定 spark.sql.iceberg.executor-cache.enabled を無効にすることです。このキャッシュを無効にすると、すべての削除が正しく処理されるため、データの一貫性が保証されますが、大容量の読み取りワークロードの場合、パフォーマンスに影響を与える可能性があります。
Amazon S3テーブルとの統合は、PGD統合機能階層化テーブル、レプリケーション、オフロードでは現在サポートされていません。 PGD管理のライフサイクルの場合、ストレージ場所またはIceberg REST準拠のカタログを使用します。