Gen AI Architecture (Entities and Flows)#
このページでは、Gen AIエンティティが実行時にどのように連携するか、および構成とガバナンスが存在する場所について説明します。コンセプト、ハウツー、クイックスタートのコンパニオンとして使用します。
エンティティと関係#
アシスタント → 指示を満たすために取得とツールの使用を調整します。
ルールセット → アシスタントの動作ポリシー、トーン、安全性を制限します。
ナレッジ→ナレッジベース埋め込みコンテンツ+レトリーバーハイブリッド検索+データレイク入力。
ツール → 認証された型付けインターフェイスを介したアクションと統合を有効にします。
構造 → アシスタントによって呼び出される再利用可能なビルディングブロックタスク、パイプライン、ワークフロー。
スレッド→キャプチャ状態と実行トレースプロンプト、取得、ツール呼び出し、出力。
エンティティドキュメント
制御フローとデータフロー#
User/App → Assistant → (Retriever → Knowledge Base) → Model endpoint
└→ (Tool call → API/service)
↳ Thread (state, trace)
フロー
ユーザーまたはアプリは、指示子/入力を使用してアシスタントを呼び出します。
アシスタントは、設定された取得装置とナレッジベースを介してコンテキストを取得します。
アシスタントはオプションでツールを呼び出して、データを収集するか、アクションを実行します。
アシスタントは、取得したコンテキストに基づいて、生成のためにモデルエンドポイントを呼び出します。
スレッドは、プロンプト、取得したチャンク、ツールI/O、および監査とデバッグのための応答をキャプチャします。
エンドポイントとモデル#
Sovereign AIのプライベート Model Serving Reference Manual エンドポイントを使用します。
内部呼び出しはクラスターローカルDNSを使用します。外部呼び出しはポータル+アクセスキーを使用します
操作パス チャット
/v1/chat/completions、埋め込み/v1/embeddings、リランク/v1/ranking。クライアントパターン OpenAI互換または生のHTTP。 Accessing KServe endpoints (internal and external) および Quickstart — Use an Inference Endpoint with Python を参照してください。
ガバナンスとオブザーバビリティ#
入力の管理 ナレッジキュレーション、取得フィルタ、ツールスコープ、ルールセット。
可観測性 スレッドとプラットフォームメトリック/ログを使用して、デバッグと監視をします。
監査可能性 スレッドは、決定とデータの使用の永続的な記録を提供します。