AI pipelines

AI pipelines#

パイプラインは、AIDBのコア構成要素です。これは、Postgresテーブルまたは外部ボリュームからの生データが一連の変換ステップを介してフローし、AI対応の宛先に着地する方法を定義します。

Source  →  Step 1       →  Step 2  →  ...  →  Knowledge Base
           (parse/chunk)   (embed)             (indexed + queryable)

各ステップは、PDFの解析、テキストのチャンク、OCRの実行、コンテンツの要約、またはベクトル埋め込みの生成など、1つの変換を処理します。 1つのステップの出力は、次のステップの入力になります。パイプラインの最後に、データが埋め込まれ、インデックス付けされ、セマンティックまたはハイブリッド検索で照会する準備が整います。

パイプラインは、オンデマンドでバッチで、またはソースデータが変更されるたびに自動的に実行できます。手動介入なしでナレッジベースの同期を維持します。

Page

What it covers

Pipelines overview

Core concepts: sources, steps, destinations, and how pipelines relate to knowledge bases.

Creating pipelines

Defining a pipeline with aidb.create_pipeline() — source, steps, auto-processing, and volume sources.

Pipeline steps

Available step types: ChunkText, ParseHtml, ParsePdf, PerformOcr, SummarizeText, KnowledgeBase.

Orchestration

Auto-processing modes, background workers, observability, and error handling.

Reference → Functions

Full API reference for pipeline types, views, CRUD functions, and config helpers.

Examples

End-to-end worked example.