AI pipelines
============

パイプラインは、セマンティック検索およびRAGアプリケーション用のデータを取り込み、準備、およびベクトル化できます。
:ref:`pgvector反復インデックススキャン <pgvector反復インデックススキャン>` 検索機能を統合し、ナレッジベースをソースデータと自動的に同期し続けることができます。

例RAGのナレッジベース
---------------------

このウォークスルーでは、内部サポート記事を介してナレッジベースを構築し、各取得ステージを独立して示します。完全なバージョンについては、
:ref:`エンドツーエンドの例RAGのナレッジベース <エンドツーエンドの例RAGのナレッジベース>` を参照してください。これは、モデルの登録、クロスエンコーダーが間違ったベクトル検索結果を修正するリランキングデモ、および検証された出力を含む回答を取得、リランク、および生成する単一のステートメントを追加します。

パイプラインのセットアップ
^^^^^^^^^^^^^^^^^^^^^^^^^^

ソースは、データベース操作に関する16の短い記事を保持する\ ``support_articles``
テーブルです。完全な例の :ref:`source data step <Examples>` から\ ``CREATE TABLE``
および\ ``INSERT``
ステートメントを取得します。パイプラインは、各記事の本文を\ ``bge-small-en-v1.5-f16``
、ビルトインllama.cpp埋め込みモデルの1つで埋め込みます。事前登録され、ローカルで実行され、最初に使用するときにモデルファイルが自動的にダウンロードされます。

.. code:: sql

   SELECT aidb.create_pipeline(
       name               => support_kb,
       source             => support_articles,
       source_key_column  => id,
       source_data_column => body,
       step_1             => KnowledgeBase,
       step_1_options     => aidb.knowledge_base_config(
           model       => bge-small-en-v1.5-f16,
           data_format => Text
       ),
       auto_processing    => Disabled
   );

パイプラインを実行する
^^^^^^^^^^^^^^^^^^^^^^

``auto_processing => 'Disabled'``
では、あなたが言うまで何も実行されません。既存のすべての行を1回処理します。

.. code:: sql

   SELECT aidb.run_pipeline(support_kb);

Retrieve セマンティック検索
^^^^^^^^^^^^^^^^^^^^^^^^^^^

すべての記事本文が埋め込まれ、インデックスが作成されます。生のエラーテキストをセマンティック検索に貼り付けます。最上位の一致は解像度であり、キーワードではなく意味によって見つけられます。

\`\`\ ``sql SELECT key, value, distance::numeric(5,3) AS distance FROM aidb.retrieve_text('support_kb', 'application logs show: FATAL: sorry, too many clients already', 3); __OUTPUT__ key |                                                                                                          value                                                                                                          | distance -----+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------``
# AI Pipelines\`

.. csv-table::
  :header: ------------------------------------,---------------------------------------------------------------------------------------------------------
  :widths: 10,30
  :align: left
  :class: longtable

  :ref:`Pipeline steps<Pipeline steps>` ,"Available step types: ChunkText, ParseHtml, ParsePdf, PerformOcr, SummarizeText, KnowledgeBase."
  :ref:`Orchestration<Orchestration>` ,"Auto-processing modes, background workers, observability, and error handling."
  ":ref:`AI pipelines <Pipelines API reference>` ","Full API reference for pipeline types, views, CRUD functions, and config helpers."
  :ref:`Examples<Examples>` ,End-to-end worked examples.

.. toctree::
  :maxdepth: 3

  data-pipelines--data-processing
  data-pipelines--pipeline-steps
  data-pipelines--orchestration--index
  data-pipelines--reference
  data-pipelines--example