Pipelines overview#
Pipelinesは、生データのベクトル検索可能な洞察への変換を自動化するEDB Postgres AIコンポーネントです。 pgvector反復インデックススキャン 検索機能をビルトインデータ準備ツールと統合し、手動介入なしでナレッジベースとソースデータの同期を維持します。
統合されたデータのライフサイクル#
Pipelinesは、生データから検索可能なインサイトまでを自動化します。データの取り込み、埋め込み生成、インデックス作成を管理することにより、ベクターストアがソースデータとの同期を維持します。
柔軟なモデル統合 HuggingFaceなどのサポートされているローカルモデルから選択するか、OpenAI互換の外部APIに接続します。
前処理の自動化 ビルトインのデータ準備ステップは、AIパイプライン内でデータのクリーニングと変換を直接処理します。
古いデータの削除 自動処理により、埋め込みが最新の状態に保たれ、古いベクターデータが原因で発生することが多い幻覚を大幅に削減します。
統合セマンティック検索 インテリジェントなナレッジベース機能を使用すると、データがPostgresテーブルまたはS3互換オブジェクトストレージに存在するかどうかに関係なく、単一のファンクション呼び出しを使用してテキストと画像を照会できます。
パイプラインアーキテクチャ#
パイプラインはaidb.create_pipeline()
ファンクションを使用して構成され、3つの主な側面で構成されます。
** Creating pipelines ** — Postgresテーブルまたは外部クラウドストレージS3、GCS、Azureから Postgres File System (PGFS) を介して読み取られるパイプライン。
** Pipeline steps ** — 最大10の連続した操作がデータを変換します。手順には、チャンク、解析、OCR、要約、ナレッジベースへの埋め込みが含まれます。各ステップは、専用のヘルパー機能を使用して構成されます。
** Orchestration ** — 自動処理モード
Live、Background、またはDisabledは、手動介入なしで、ナレッジベースとソースデータの同期を自動的に維持します。
サポートされているモデル#
AIDB拡張機能は、HuggingFace
Postgresノードでローカルに実行されているさまざまなOpen Encoder
LLMとOpenAIエンコーダークラウドAPI経由をサポートしています。
aidb.model_providers
テーブルで使用可能なオプションをすべて表示できます。