Architecture Overview

Hadoopは、分散ファイルシステムにラージデータセットを保存できるフレームワークです。

Hadoopデータラッパーは、HadoopファイルシステムとPostgresデータベース間のインタフェースを提供します。Hadoopデータラッパーは、Postgres SELECT ステートメントを、HiveQLまたはSparkSQLインタフェースで認識されるクエリーに変換します。

PostgresでHadoop分散ファイルシステムを使用する

可能であれば、ForeignDataWrapperは、HiveまたはSparkサーバーに、 SELECT ステートメントの WHERE 句に関連付けられたアクションを実行するように要求します。 WHERE 句をプッシュダウンすると、ネットワークを移動するデータの量が減るため、パフォーマンスが向上します。