Gen AI Builder FAQ

Gen AI Builder FAQ#

このFAQでは、ハイブリッドマネージャーのAIファクトリー内のGen AI Builderに焦点を当てています。モデル、ナレッジベース、アシスタント、ツール、SDKの使用、セキュリティ、パフォーマンス、操作に関する一般的な質問をカバーしています。

目次

  • Typical use cases and patterns

  • Which models/drivers are supported?

  • When to use RAG vs. fine‑tuning?

  • How do I create and update Knowledge Bases?

  • What are Retrievers and how do I tune them?

  • How do Assistants call Tools and Structures?

  • Where does data live and how is access governed?

  • How do I improve latency and control cost?

  • How do I test, observe, and troubleshoot?

  • Where to find SDK references and examples?

どのモデル/ドライバーがサポートされていますか?#

Gen AI Builderはドライバーベースです。プロンプトドライバー、埋め込みドライバー、およびVectorストアドライバーを介してプライベート/エンドポイントまたはホストされたAPIを使用できます。

  • プロンプトドライバー OpenAI、Anthropic、Google、など reference/sdk/drivers/index.mdx およびプロバイダーごとのページを参照してください。

  • 埋め込みドライバー OpenAI、Google、NVIDIA NIM、Hugging Face、など reference/sdk/drivers/embedding-drivers.mdx

  • Vector Storeドライバー pgvector Postgres、local、Pinecone、Qdrant、Redis、その他 reference/sdk/drivers/vector-store-drivers.mdx

  • NVIDIA NIM Model serving and inference を介してプライベートエンドポイントとして展開

AI Factory Models および How-To Deploy an NVIDIA NIM Microservices available on build.nvidia.comcontainer with KServe も参照してください。

RAGと微調整を使用する場合#

生きた知識と管理された回答にはRAGを優先します。トーン/フォーマット/狭いタスクの微調整を使用します。多くのプロダクションアシスタントは、 Knowledge Bases Reference Manual からコンテキストを取得し、 Rulesets Manual でガイド応答をガイドします。モジュールパイプラインの場合、 RAG Engines を探索します。

ナレッジベースを作成および更新するにはどうすればよいですか?#

SDK参照 Data Loaders 、 Embedding Drivers 、 Vector Store Drivers 。

レトリバーとは何ですか?どのように調整すればよいですか?#

レトリバーは、アシスタントがコンテキストを取得する方法を制御しますターゲットKB、最大トークン、フィルタ、リランキング。

  • 作成します Create a Retriever in Gen AI Builder

  • 調整 類似性しきい値、top-K、メタデータフィルタ、リランカー

  • Advanced 取得/リランク/レスポンスステージを備えたモジュール式 RAG Engines

SDK参照 RAG Engines 、 Rerank Drivers 。

アシスタントはどのようにツールとストラクチャーを呼び出すのでしょうか?#

アシスタントは、取得+生成+アクションをオーケストレーションします。外部システムのツールを使用するか、構造パイプライン/ワークフロー/エージェントを呼び出し可能なツールとしてプロモートします。

SDKリファレンス Structures Reference Manual 、 Tools Reference Manual 、 Assistant Drivers 、 Conversation Memory Drivers 。

データはどこにありますか、アクセスはどのように制御されますか?#

  • ドキュメント Configure Data Sources in Gen AI Builder 経由で取り込みます。管理されたデータレイクまたはPostgresに保存する

  • 埋め込み/ベクター Postgres pgvector推奨または別の構成済みベクターストア

  • ガバナンス ソースシステムに権限を適用します。プロジェクトごとにツールの使用を制限します。スレッド/ログを使用した監査取得とツール呼び出し

Configure the Data Lake in Gen AI Builder 、 Vector Engine (PGvector) を参照してください。

レイテンシーと制御コストを改善するにはどうすればよいですか?#

  • 取得 トップKの削減、チャンキング/メタデータの改善、再ランクの選択的な使用

  • 生成 ルートごとに適切なモデルを選択します。ストリーム応答。安全な場所でバッチ

  • キャッシング 可能であれば、埋め込み、ホット取得、ツール出力をメモ化します

  • インフラ モデルとKBをコロケーションします。 Model Servingの自動スケーリングを使用したスケーリング

SDK Engines およびドライバーを参照してください。モデル Model serving and inference を参照してください。

テスト、観察、およびトラブルシューティングを行うにはどうすればよいですか?#

  • テスト ゴールデンセット、会話プレイブック、SDK単体テスト

  • 可観測性 スレッドログ、アシスタント/ストラクチャー実行イベント。オプションでオブザーバビリティスタックにエクスポート

  • デバッグ 最初に取得セットを確認します。ルールセットの変更を検査します。保存された入力を使用して同じストラクチャ/アシスタントを再実行します

ドキュメント Threads Reference Manual 、SDK Observability for Model Serving 。

一般的なユースケースとパターン#

  • エンタープライズナレッジアシスタント KB + レトリバー + アシスタント + ツール チケット/CRM

  • カスタマーサポートコパイロット ポリシー/よくある質問KB +ルーティング+ルールセットを介したガードレール

  • ワークフローボット 承認、データエンリッチメント、およびレポートのための構造+ツール

  • 分析用RAG pgvector +パイプライン+ガイド付き探索のためのアシスタント

Explore Best practices for Hybrid Knowledge Bases 、 Customer Service Assistant Implementation Guide 。

SDKのリファレンスと例はどこにありますか?#

  • SDKの概要 Gen AI Builder SDK

  • データ Artifacts 、 Loaders 、 Chunkers

  • ドライバー Prompt/Assistant 、 Embeddings and vector representations 、 Vector Stores

  • 構造体 Tasks 、 Pipelines and data preparation 、 Structures (workflows and building blocks)

  • ツール Tools Reference Manual

製品ガイドも参照してください。 Assistants Reference Manual 、 Knowledge Bases Reference Manual 、 Retrievers Reference Manual 、 Rulesets Manual 、 Structures Reference Manual 、 Tools Reference Manual 、 Threads Reference Manual 。

目次