Observability

Observability#

すべての自動処理モードの詳細なステータスと進行状況の出力を確認します。

2つのビューが可観測性のニーズのほとんどをカバーします。

  • aidb.pipeline_metrics エイリアスaidb.pipem — バックログ、ソース/宛先カウント、ステータス、エラーカウントを含むパイプラインごとに1行。これは、処理の進行状況を追跡するためのプライマリビューです。

  • aidb.knowledge_base_metrics エイリアスaidb.kbm — パイプライン数、埋め込み数、および接続されているすべてのパイプラインの集計ステータスを含むナレッジベースごとに1行。

パイプラインごとの進行状況#

SELECT * FROM aidb.pipem;
__OUTPUT__
      pipeline       | auto processing | table: unprocessed rows | volume: scans completed | count(source records) | count(destination records) |  Status  | count(record errors) | count(blocking errors)
- --------------------+-----------------+-------------------------+-------------------------+-----------------------+----------------------------+----------+----------------------+------------------------
 feedback_na_pipe    | Live            |                       0 |                         |                   412 |                        412 | UpToDate |                    0 |                      0
 product_docs_pipe   | Background      |                         |                       6 |                   1842 |                       1842 | UpToDate |                    0 |                      0
(2 rows)

변화 감지 メカニズムはボリュームソースとテーブルソースでは異なるため、ビューは次のメトリックを公開します。

  • table: unprocessed rows 変更イベントのバックログにリストされる一意の行の数。 Disabled の場合、自動処理は新しい変更イベントをキャプチャしません。

  • volume: scans completed 完了したソースの完全なリストの数。

  • count(source records) ソースに存在するレコード数。テーブルソースに関しては常に正確です。ボリュームソースの各フルスキャンの後に更新されます。

  • count(destination records) パイプラインがその宛先エンベディング、チャンクなどに書き込んだ行数。

ナレッジベースの概要#

SELECT * FROM aidb.kbm;
__OUTPUT__
             name             | pipelines | embeddings |  status
- -----------------------------+-----------+------------+----------
 public.product_catalog_kb    |         1 |       1842 | UpToDate
 public.customer_feedback_kb  |         2 |        915 | UpToDate
(2 rows)

status 列は、そのKBに接続されているすべてのパイプラインにわたって最悪のパイプラインステータスをロールアップします。aidb.pipeline_metrics をドリルして、どのパイプラインが原因であるかを見つけます。

目次