AI Factory Pipelines#

AI Factory Pipelines は、 EDB Postgres® AI EDB PG AIのコア機能であり、 取得拡張生成RAGを含むPostgresクラスターで直接インテリジェントに自動化されたAIデータワークフローを有効にします、 ナレッジベース**、およびベクターベースのアプリケーション。

パイプラインは、PostgresのAIデータの準備、管理、および提供の複雑さを抽象化します。 Vector Engine と統合し、データがデータベースまたは信頼できるオブジェクトストレージ内にある ソブリンAI パターンを有効にします。

なぜパイプラインなのか？#

最新のAIワークロード、特にRAGとGen AIには、以下が必要です。

クリーンな前処理データ
一貫したエンベディング
効率的なベクトルインデックス
ソースデータが変更された場合のリアルタイム更新

これらの手順を手動で管理するのは複雑で、エラーが発生しやすくなります。 Pipelinesはこのライフサイクルを自動化します。

データの準備とクリーンアップ
エンベディング生成を実行します
ベクトルインデックスを維持します
自動処理とナレッジベースをサポート

Pipelinesは、古いエンベディングから「幻覚」を排除し、信頼性の高いGen AIの構築を簡単にします。

あなたにできること#

パイプラインを使用すると、次のことができます。

テキストおよび画像データの ベクター埋め込みパイプライン を自動化する
リアルタイムまたはバッチ更新で ナレッジベース を維持する
Vector Engine (PGvector) を使用して セマンティックおよび類似性検索 を実行する
Gen AI Builder およびその他のAI Factoryコンポーネントとの統合
データに基づいて、完全に監査可能、制御された ソブリンAI システムを構築する

その仕組み#

準備者#

プリペアラーは、ソースデータをクリーンアップ、チャンク分け、および埋め込み用に準備する方法を定義します。次のプリペアラーを作成できます。

Postgresテーブル aidb.create_table_preparer()
オブジェクトストレージS3互換 aidb.create_volume_preparer()

作成したら、次を実行できます。

大量処理 aidb.bulk_data_preparation()
自動処理 aidb.set_auto_preparer() 埋め込みを自動的に最新の状態に保ちます。

詳細については、 Pipelines reference - Preparers を参照してください。

ナレッジベース#

ナレッジベースは、RAGの単純な抽象化を提供します。

ナレッジベースの定義 aidb.create_table_knowledge_base() 、aidb.create_volume_knowledge_base()
エンベディングとベクターインデックスを自動的に管理
セマンティック検索にaidb.retrieve_key() およびaidb.retrieve_text() を使用する

サポート

テキスト、画像データ
マルチモーダルモデルCLIPなど
Gen AI Builderの取得フローとの統合

Knowledge Base Concepts を参照してください。

自動処理#

パイプラインは、柔軟な自動処理モードをサポートしています

同期または非同期
テーブルまたはボリュームソース
設定可能なバッチサイズとトリガー

詳細は、 Pipeline auto-processing を参照してください。

誰がパイプラインを使用する必要がありますか?#

パイプラインは次の場合に最適です。

エンタープライズナレッジベース を作成するGen AI Builders
セマンティック検索パイプライン を構築するデータエンジニア
自動化されたRAGパイプライン を必要とするAIチーム
規制された環境で ソブリンAI を実装するアーキテクト

パイプラインを使用する場合#

次のことが必要な場合にパイプラインを使用します。

データの変更に応じて埋め込みを最新の状態に保つ
古いまたは不完全な埋め込みによって発生するRAGエラーを削減します
テキストと画像をまたいだ強力なマルチモーダルGen AI検索
埋め込みプロセスの完全な監査可能性とガバナンスを維持する

構成値の説明#

チャンクサイズとオーバーラップチャンクが小さいほど、グラウンディングが向上します。オーバーラップは、チャンク全体でコンテキストを保持するのに役立ちます。文書構造に基づいて調整します。
埋め込みモデルの選択インジェストとクエリーに一貫したモデルを使用します。ドメインと言語に合わせて選択します。
自動処理ケイデンスデータ変更頻度とSLAに合わせて調整します。同期モードと非同期モードを検討します。
バッチサイズと並列処理スループットは向上しますが、ストレージ、ネットワーク、およびメモリを監視します。
類似性しきい値とtop-K しきい値が高いほどノイズが削減されます。リコール対レイテンシーのtop‑Kを調整します。

詳細はこちら#

AI Accelerator Pipelines は、Postgresデータに基づいて、信頼できるスケーラブルな ソブリンAI ソリューションを構築するのに役立ちます。AIパイプラインをクリーンで最新の運用準備ができた状態に保ちます。

AI Factory Pipelines

目次