AI pipelines

AI pipelines#

パイプラインは、セマンティック検索およびRAGアプリケーション用のデータを取り込み、準備、およびベクトル化できます。 pgvector反復インデックススキャン 検索機能を統合し、ナレッジベースをソースデータと自動的に同期し続けることができます。

例RAGのナレッジベース#

このウォークスルーでは、内部サポート記事を介してナレッジベースを構築し、各取得ステージを独立して示します。完全なバージョンについては、 エンドツーエンドの例RAGのナレッジベース を参照してください。これは、モデルの登録、クロスエンコーダーが間違ったベクトル検索結果を修正するリランキングデモ、および検証された出力を含む回答を取得、リランク、および生成する単一のステートメントを追加します。

パイプラインのセットアップ#

ソースは、データベース操作に関する16の短い記事を保持するsupport_articles テーブルです。完全な例の source data step からCREATE TABLE およびINSERT ステートメントを取得します。パイプラインは、各記事の本文をbge-small-en-v1.5-f16 、ビルトインllama.cpp埋め込みモデルの1つで埋め込みます。事前登録され、ローカルで実行され、最初に使用するときにモデルファイルが自動的にダウンロードされます。

SELECT aidb.create_pipeline(
    name               => support_kb,
    source             => support_articles,
    source_key_column  => id,
    source_data_column => body,
    step_1             => KnowledgeBase,
    step_1_options     => aidb.knowledge_base_config(
        model       => bge-small-en-v1.5-f16,
        data_format => Text
    ),
    auto_processing    => Disabled
);

パイプラインを実行する#

auto_processing => 'Disabled' では、あなたが言うまで何も実行されません。既存のすべての行を1回処理します。

SELECT aidb.run_pipeline(support_kb);

Retrieve セマンティック検索#

すべての記事本文が埋め込まれ、インデックスが作成されます。生のエラーテキストをセマンティック検索に貼り付けます。最上位の一致は解像度であり、キーワードではなく意味によって見つけられます。

``sql SELECT key, value, distance::numeric(5,3) AS distance FROM aidb.retrieve_text('support_kb', 'application logs show: FATAL: sorry, too many clients already', 3); __OUTPUT__ key |                                                                                                          value                                                                                                          | distance -----+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+------- # AI Pipelines`

Pipeline steps

Available step types: ChunkText, ParseHtml, ParsePdf, PerformOcr, SummarizeText, KnowledgeBase.

Orchestration

Auto-processing modes, background workers, observability, and error handling.

AI pipelines

Full API reference for pipeline types, views, CRUD functions, and config helpers.

Examples

End-to-end worked examples.
目次