AI pipelines
============

パイプラインは、AIDBのコア構成要素です。これは、Postgresテーブルまたは外部ボリュームからの生データが一連の変換ステップを介してフローし、AI対応の宛先に着地する方法を定義します。

::

   Source  →  Step 1       →  Step 2  →  ...  →  Knowledge Base
              (parse/chunk)   (embed)             (indexed + queryable)

各ステップは、PDFの解析、テキストのチャンク、OCRの実行、コンテンツの要約、またはベクトル埋め込みの生成など、1つの変換を処理します。
1つのステップの出力は、次のステップの入力になります。パイプラインの最後に、データが埋め込まれ、インデックス付けされ、セマンティックまたはハイブリッド検索で照会する準備が整います。

パイプラインは、オンデマンドでバッチで、またはソースデータが変更されるたびに自動的に実行できます。手動介入なしでナレッジベースの同期を維持します。

.. csv-table::
  :header: Page,What it covers
  :widths: 10,30
  :align: left
  :class: longtable

  :ref:`Pipelines overview<Pipelines overview>` ,"Core concepts: sources, steps, destinations, and how pipelines relate to knowledge bases."
  :ref:`Creating pipelines<Creating pipelines>` ,"Defining a pipeline with `aidb.create_pipeline()` — source, steps, auto-processing, and volume sources."
  :ref:`Pipeline steps<Pipeline steps>` ,"Available step types: ChunkText, ParseHtml, ParsePdf, PerformOcr, SummarizeText, KnowledgeBase."
  :ref:`Orchestration<Orchestration>` ,"Auto-processing modes, background workers, observability, and error handling."
  ":ref:`Reference → Functions <Pipelines API reference>` ","Full API reference for pipeline types, views, CRUD functions, and config helpers."
  :ref:`Examples<Examples>` ,End-to-end worked example.

.. toctree::
  :maxdepth: 3

  data-pipelines--overview
  data-pipelines--data-processing
  data-pipelines--pipeline-steps
  data-pipelines--orchestration--index
  data-pipelines--reference
  data-pipelines--example