EDB Postgres AI for ClickHouse 26.3.13.31

日本語訳|ClickHouse 26.3.13.31

※GoogleのAutoML Translationを使用して翻訳しております。

英語原文|ClickHouse 26.3.13.31

概要

1. ClickHouseとは
ClickHouseは、リアルタイム分析に特化して設計されたオープンソースのカラム型(列指向)データベースエンジンです。データがシステムに到着してすぐにクエリを実行する必要がある、大量のデータ分析ワークロードに最適化されています。

「EDB Postgres AI for ClickHouse」は、データベースのフォーク(分岐版)ではなく、本家(アップストリーム)と同一の公式オープンソースClickHouseバイナリをそのまま配布しています。EDB社は、エンタープライズ向けのサポート、SLA、およびCVE(脆弱性)対応を提供しながら、これらのバイナリをRPMパッケージ、コンテナイメージ、およびKubernetesオペレーターとしてパッケージ化して提供しています。

2. ClickHouseの仕組み

  • カラム型ストレージ(列指向ストレージ): 従来の行指向データベースとは異なり、データを列(カラム)単位で保持します。これにより、数十億行におよぶ巨大なテーブルから特定の数列のみをスキャンするような分析クエリに最適化されています。
  • テーブルエンジン: ClickHouseのすべてのテーブルは、データの格納、インデックス作成、および複製のルールを決定する固有の「テーブルエンジン」を使用します。主要なエンジンファミリーは、高スループットの分析ワークロード向けに設計された MergeTree です。
  • 構成トポロジー(シングルノードとマルチノード):
    • シングルノード: 単一のホスト上でスタンドアロン(独立)インスタンスとして動作します。
    • マルチノードクラスター: 書き込みスループットや容量を拡張するためにデータを水平分割する「シャーディング」と、高可用性を担保するために複数ノード間でデータの同一コピーを保持する「レプリケーション」を組み合わせて使用します。
  • 分散クエリルーティング: シャーディング環境において、 Distributed テーブルエンジンはローカルテーブルの上の仮想テーブルとして機能します。クエリをすべてのシャードに並列で配信(ファンアウト)し、結果をマージしてクライアントに返却します。
  • コーディネーション(ClickHouse Keeper): レプリケーションの同期、リーダー選挙、および分散DDL操作は、Raftコンセンサスアルゴリズムを利用する「ClickHouse Keeper」によって調整されます。これが機能するためには、クォーラム(最低3つのノード)が必要となります。
  • システム連携: ClickHouseは他のシステムと直接統合できます。例えば、 PostgreSQL テーブルエンジンを介してEDBのWarehousePGに接続(標準のPostgresプロトコルを使用)したり、 DataLakeCatalog データベースエンジンを介して外部のIcebergカタログに接続し、データレイクのテーブルに対してクエリを実行したりできます。

3. ClickHouseのメリット

  • 高速性とリアルタイム集計: 速度が最優先されるワークロード向けに設計されており、毎秒数百万件のイベントをインジェストしながら、数十億行のライブデータに対して1秒未満で集計結果を返します。
  • 相互補完的なアーキテクチャ: EDB Postgres AIの分析(Analytics)ピラーにおいて、ClickHouseはリアルタイムな状況を問うクエリ(「今何が起きているか?」)を処理し、WarehousePGは複雑な複数テーブルの結合やバッチ分析(「何が起きたのか?」)を担当します。Apache Icebergを共有のデータソース(信頼できる唯一の情報源)とすることで、時間のかかるETLパイプラインやデータのコピー作業が不要になります。
  • リソースの効率性: クエリに必要な特定の列のみを読み取ることや、データレイクに対するパーティションプルーニングおよびプレディケートプッシュダウン(条件の押し下げ)の適用により、CPUとI/Oの消費を最小限に抑えます。
  • エンタープライズサポートと互換性: オープンソースClickHouseの標準的なSQL方言、テーブルエンジン、およびパフォーマンスをそのまま活用しつつ、EDBが提供するエンタープライズ向けのパッケージング、各種プラットフォーム互換性(Rocky Linux 10、Docker、Kubernetes)、およびサポート体制を利用できます。

4. バージョン 26.3.13.31における変更点

  • 初回リリース: この 26.3.13.31 は、「EDB Postgres AI for ClickHouse」の最初のリリース(Initial Release)にあたります。
  • アップストリームとの同期: 本リリースは、オープンソースの ClickHouse 26.3.13.31 Long-Term Support(LTS)バージョンをベースとしており、該当バージョンに含まれるすべてのアップストリームの機能、機能改善、およびバグ修正が取り込まれています。