Orchestration

Orchestration#

オーケストレーションはパイプラインの実行を管理し、データがいつどのように処理されるかを決定します。オーケストレーションのコアコンポーネントは次のとおりです。

  • ** 自動処理を有効にする ** パイプラインはバックグラウンドで実行するか、データと同期したままにすることができます。バッチサイズとトリガーを構成し、同期または非同期処理モードを選択できます。

  • 変更検出 新しい、更新、または削除されたレコードを識別するため、ダーティデータのみが処理されます。

  • 同期対非同期 ライブ即時、トランザクション更新またはバックグラウンド定期的、ノンブロッキング更新のいずれかを選択します。

  • ** Background workers ** バックグラウンドワーカーは、メインデータベースのパフォーマンスに影響を与えることなく、OCR、文書解析、API呼び出しの埋め込みなどのAIタスクを非同期に実行する専用のPostgresプロセスです。

  • リソースの分離 彼らはユーザーセッションとは無関係に実行され、大量のデータの取り込み中もアプリの高速性が保証されます。

  • バッチと再試行 データを効率的なバッチにグループ化してAPIコストを節約し、外部サービスOpenAIなどが一時的に停止している場合に自動的に再試行します。ダウン。

  • ** モニタリングとオブザーバビリティ ** 自動化されたワークフローの詳細なステータスを提供します。これらのプロセスはバックグラウンドで実行されているため、可観測性により、状態、速度、および精度を追跡できます。

  • ステータス追跡 aidb.pipeline_metrics のようなビューを使用して、バックログにある行数とレコードの合計数を確認します。 destination.

  • ** Pipeline error log ** 特定のファイルが破損したPDFまたはタイムアウトなどの解析に失敗した理由を正確にキャプチャし、迅速なトラブルシューティングを可能にします。 SQLサーフェスから検査、クリア、および再キューイングします。

完全なパイプラインワークフローに適用されたオーケストレーションを確認するには、 Examples を参照してください。