AI Factory Pipelines ==================== **AI Factory Pipelines** は、 **EDB Postgres® AI** EDB PG AIのコア機能であり、 **取得拡張生成RAG\ を含むPostgresクラスターで直接インテリジェントに自動化されたAIデータワークフローを有効にします\ 、** ナレッジベース*\*、およびベクターベースのアプリケーション。 パイプラインは、PostgresのAIデータの準備、管理、および提供の複雑さを抽象化します。 **Vector Engine** と統合し、データがデータベースまたは信頼できるオブジェクトストレージ内にある **ソブリンAI** パターンを有効にします。 なぜパイプラインなのか？ ------------------------ 最新のAIワークロード、特にRAGとGen AIには、以下が必要です。 - クリーンな前処理データ - 一貫したエンベディング - 効率的なベクトルインデックス - ソースデータが変更された場合のリアルタイム更新 これらの手順を手動で管理するのは複雑で、エラーが発生しやすくなります。 Pipelinesはこのライフサイクルを自動化します。 - データの準備とクリーンアップ - エンベディング生成を実行します - ベクトルインデックスを維持します - 自動処理とナレッジベースをサポート Pipelinesは、古いエンベディングから「幻覚」を排除し、信頼性の高いGen AIの構築を簡単にします。 あなたにできること ------------------ パイプラインを使用すると、次のことができます。 - テキストおよび画像データの **ベクター埋め込みパイプライン** を自動化する - リアルタイムまたはバッチ更新で **ナレッジベース** を維持する - :ref:`Vector Engine (PGvector) ` を使用して **セマンティックおよび類似性検索** を実行する - **Gen AI Builder** およびその他のAI Factoryコンポーネントとの統合 - データに基づいて、完全に監査可能、制御された **ソブリンAI** システムを構築する その仕組み ---------- 準備者 ^^^^^^ プリペアラーは、ソースデータをクリーンアップ、チャンク分け、および埋め込み用に準備する方法を定義します。次のプリペアラーを作成できます。 - Postgresテーブル ``aidb.create_table_preparer()`` - オブジェクトストレージS3互換 ``aidb.create_volume_preparer()`` 作成したら、次を実行できます。 - **大量処理** ``aidb.bulk_data_preparation()`` - **自動処理** ``aidb.set_auto_preparer()`` 埋め込みを自動的に最新の状態に保ちます。 詳細については、 :ref:`Pipelines reference - Preparers ` を参照してください。 ナレッジベース ^^^^^^^^^^^^^^ ナレッジベースは、RAGの単純な抽象化を提供します。 - ナレッジベースの定義 ``aidb.create_table_knowledge_base()`` 、\ ``aidb.create_volume_knowledge_base()`` - エンベディングとベクターインデックスを自動的に管理 - セマンティック検索に\ ``aidb.retrieve_key()`` および\ ``aidb.retrieve_text()`` を使用する サポート - テキスト、画像データ - マルチモーダルモデルCLIPなど - Gen AI Builderの取得フローとの統合 :ref:`Knowledge Base Concepts ` を参照してください。 自動処理 ^^^^^^^^ パイプラインは、柔軟な自動処理モードをサポートしています - 同期または非同期 - テーブルまたはボリュームソース - 設定可能なバッチサイズとトリガー 詳細は、 :ref:`Pipeline auto-processing ` を参照してください。 誰がパイプラインを使用する必要がありますか? ------------------------------------------- パイプラインは次の場合に最適です。 - **エンタープライズナレッジベース** を作成するGen AI Builders - **セマンティック検索パイプライン** を構築するデータエンジニア - **自動化されたRAGパイプライン** を必要とするAIチーム - 規制された環境で **ソブリンAI** を実装するアーキテクト パイプラインを使用する場合 -------------------------- 次のことが必要な場合にパイプラインを使用します。 - データの変更に応じて埋め込みを最新の状態に保つ - 古いまたは不完全な埋め込みによって発生するRAGエラーを削減します - テキストと画像をまたいだ強力なマルチモーダルGen AI検索 - 埋め込みプロセスの完全な監査可能性とガバナンスを維持する 構成値の説明 ------------ - チャンクサイズとオーバーラップ チャンクが小さいほど、グラウンディングが向上します。オーバーラップは、チャンク全体でコンテキストを保持するのに役立ちます。文書構造に基づいて調整します。 - 埋め込みモデルの選択 インジェストとクエリーに一貫したモデルを使用します。ドメインと言語に合わせて選択します。 - 自動処理ケイデンス データ変更頻度とSLAに合わせて調整します。同期モードと非同期モードを検討します。 - バッチサイズと並列処理 スループットは向上しますが、ストレージ、ネットワーク、およびメモリを監視します。 - 類似性しきい値とtop-K しきい値が高いほどノイズが削減されます。リコール対レイテンシーのtop‑Kを調整します。 詳細はこちら ------------ - :ref:`Knowledge Base Concepts ` - :ref:`Pipelines reference - Preparers ` - :ref:`Pipeline auto-processing ` - :ref:`Supported Embedding Models ` - :ref:`Vector Engine (PGvector) ` **AI Accelerator Pipelines** は、Postgresデータに基づいて、信頼できるスケーラブルな **ソブリンAI** ソリューションを構築するのに役立ちます。AIパイプラインをクリーンで最新の運用準備ができた状態に保ちます。 .. toctree:: :maxdepth: 3 Usage--pipeline--Start_here--index Usage--pipeline--Get_started--index Usage--pipeline--Core_concepts--index Usage--pipeline--Storage_and_access--index Usage--pipeline--Reference--index Usage--pipeline--Rel_notes--index Usage--pipeline--Legal--index