Lakehouse analytics（January 2025）

1. EDB Lakehouse analytics とは？
EDB Lakehouse analytics は、EDB Postgres AI プラットフォームの拡張機能であり、分析ワークロード向けに設計されています。本質的には、オブジェクトストレージ（S3など）に格納されたデータを、Postgresベースの計算エンジンを使用して、カラム形式（Delta Lakeプロトコルを使用）でクエリするための方法です。具体的には以下の機能を提供します。

Postgres向けの高速分析: ベクトル化されたクエリエンジンを活用することで、従来の行ベースのPostgresストレージと比較して、大規模データセットに対する分析クエリを高速化します。
Postgresネイティブ: Postgresのエコシステムにシームレスに統合されているため、既存のPostgresクライアントやクエリを修正なしで使用できます。
カラムナストレージ: 分析用に最適化され、他の分析エコシステムとの相互運用が可能な、圧縮率の高いカラムナ形式でデータを格納します。
Lakehouse Sync: トランザクションPostgresデータベースから、オブジェクトストレージ内のLakehouseテーブルにデータを同期するサービスが含まれています。
フルマネージドサービス: マネージドサービスであるため、基盤となるインフラストラクチャを管理する必要はありません（ただし、EDB Postgres AIアカウントが必要です）。

2. どのように機能するのか？
基本的な考え方は、ストレージとコンピューティングを分離し、それぞれを独立してスケーリングできるようにすることです。以下に、各コンポーネントの連携について説明します。

Lakehouseノード: Postgresインスタンス（EDB Advanced Server (EPAS) または EDB Postgres Extended (PGE)）であり、オブジェクトストレージ内のDelta Lakeテーブルのクエリに最適化されています。ベクトル化されたクエリエンジン（Seafowl経由のApache DataFusion）を使用します。これらのノードはステートレスかつエフェメラルであり、ワークロードに基づいてスケールアップまたはスケールダウンします。
Lakehouseテーブル: Delta Lakeテーブルは、S3互換のオブジェクトストレージに格納されたParquetファイルとJSONメタデータのセットです。これらが実際にクエリされるデータです。
マネージドストレージロケーション (MSL): Lakehouseテーブルが格納されているオブジェクトストレージ内のロケーションであり、Lakehouseノードがクエリを行うためのアクセスを可能にします。当初は、EDBがこれらのストレージロケーションを管理します（ただし、ユーザーが独自のバケットを持ち込む「外部ストレージロケーション」も計画されています）。
ベクトル化されたクエリエンジン (Apache DataFusion): このエンジンが、高速化の鍵です。SIMD技術を使用してカラムナデータを処理し、従来のPostgresと比較して5倍から100倍のパフォーマンス向上を実現しています。Seafowlによって使用されます。
Lakehouse Sync: EDBホスト型のトランザクションPostgresデータベースから、マネージドストレージロケーションのLakehouseテーブルにデータを移動します。

クエリが実行されると、Lakehouseノードは最初に、ベクトル化されたクエリエンジン（Seafowl）でクエリを実行しようと試みます。可能な限り多くの処理をそれに「プッシュダウン」します。Seafowlが処理できない操作がある場合、通常のPostgres実行にフォールバックします。

3. Lakehouse analytics を使用するメリット

パフォーマンス: カラムナストレージとベクトル化エンジンにより、従来のPostgresよりも分析クエリが大幅に高速化されます（平均で30倍と推定）。
スケーラビリティ: コンピューティング（Lakehouseノード）とストレージ（オブジェクトストレージ）を独立してスケーリングできるため、予測不可能な分析ワークロードをより効率的に処理できます。
コスト効率: コンピューティングリソースがエフェメラルであるため、使用量に応じてのみ課金されます。これは、アタッチされたディスクにデータを保持するために、十分に活用されていないサーバーに対しても課金される従来のシステムとは対照的です。
柔軟性: オープンソースのDelta Lake形式を利用しているため、より広範な分析エコシステムとの相互運用が可能です。
Postgres統合: Postgresとシームレスに統合されています。既存のPostgresクライアントを使用して、SQLでほとんど、または全く修正なしでデータをクエリできます。
シンプルさ: データレイクハウスの構築が容易になり、完全に新しいツールチェーンを必要とせずにPostgresを活用できます。
使いやすさ: ベンチマークデータセットですぐに開始するか、同期機能を使用してデータを同期できます。

要約すると、EDB Lakehouse analytics は、Postgresの能力と最新のクラウドネイティブなデータレイクハウスの原則を組み合わせ、特に大規模データセットにおいて分析クエリを高速かつ効率的に処理する方法を提供し、プロセスを簡素化します。