Gen AI Builder on Hybrid Manager#
概要#
Hybrid Manager内のGen AI Builderを使用すると、組織は、大規模言語モデルと組織データを組み合わせたインテリジェントなアプリケーションを作成できます。すべてが制御されたKubernetesインフラストラクチャ内で実行されます。このプラットフォームは、外部依存なしで検索拡張生成RAGシステム、会話アシスタント、自動ワークフローを構築するためのビジュアルおよびプログラム的なインターフェイスを提供します。 Gen AI Builder on Hybrid Manager を参照してください。
この統合により、完全なデータ主権が保証されます。ナレッジベース、モデルの相互作用、会話履歴はインフラストラクチャ内に残りますが、ローカルに展開されたモデルを介して最先端のAI機能を活用します。
コアアーキテクチャ#
LLM統合#
Gen AI Builderは、ハイブリッドマネージャーの Model Serving インフラストラクチャを介して展開されたモデルに接続し、テキスト生成、埋め込み、および再ランキング操作のための言語モデルへのシームレスなアクセスを提供します。
モデルアクセスパターン
低遅延の推論のためのクラスターDNSを介した内部エンドポイント
アプリケーション統合のための安全なゲートウェイを介した外部エンドポイント
標準クライアントライブラリを有効にするOpenAI互換API OpenAI API compatibility を参照してください
サポートされているオペレーション
会話型インタラクションのチャットコンプリート
セマンティック検索とナレッジベース作成のための埋め込み
取得ワークフローでの結果最適化のための再ランキング
ナレッジベースインフラストラクチャ#
ナレッジベースは、 pgvector and Vector Engine concepts で強化されたPostgreSQLデータベース内の埋め込みとインデックス作成を介して、組織データを検索可能なAI対応形式に変換します。 Knowledge bases in the asset library および Knowledge Base Pipelines を参照してください。
データ処理パイプライン
インジェスト データベース、ドキュメント、APIを含む data sources に接続します
チャンキング コンテンツを意味的に意味のあるセグメントに分割する
エンベディング デプロイされたモデルを使用してベクトル表現を生成
インデックス作成 フィルタリング用のメタデータを使用してベクトルをPostgreSQLに保存します
ストレージアーキテクチャ
pgvector拡張子を使用してPostgreSQLに保存されたベクター埋め込み
フィルタリングとアトリビューションのために維持されるドキュメントメタデータ
参照と再生成のために保存された元のコンテンツ
動的ナレッジベースでサポートされているインクリメンタル更新
インテリジェントなアプリケーションの構築#
アシスタント開発#
アシスタントは、取得、推論、アクションを組み合わせた構成可能なワークフローを介して、ユーザー、ナレッジベース、および外部システム間の相互作用を調整します。 What are assistants and how do they work? を参照してください。
構成コンポーネント
ディレクティブ アシスタントの目的と動作を定義します
ナレッジ統合 コンテキストに関連する How do I create knowledge bases for RAG? を接続します
ツールバインディング Connecting data into external tools を介して外部システムの相互作用を有効にします
モデル選択 生成タスクに適切なLLMを選択します
例 カスタマーサービスアシスタント
assistant:
name: customer-support
directive: "Help customers with product inquiries and order status"
knowledge_bases:
- product-documentation
- order-database
tools:
- order-tracking-api
- ticket-creation
model: llama-3-8b-instruct
取得拡張生成#
RAGパターンは、LLM応答を組織のナレッジに根付かせ、会話機能を維持しながら幻覚を削減します。 Retrievers を参照してください。
取得フロー
ユーザークエリーは、ナレッジベース全体のセマンティック検索をトリガーします
ベクトルの類似性に基づいて取得された関連文書
ユーザークエリーとともにLLMに提供されるコンテキスト
取得した情報を使用して生成された応答
最適化戦略
ベクトル一致とキーワード一致を組み合わせたハイブリッド検索
ドメイン固有の取得のためのメタデータフィルタリング
結果の関連性を向上させるための再ランキング Using NVIDIA NIM を参照してください
大規模なドキュメントのコンテキストウィンドウ管理
ツールの統合#
ツールは、セキュリティ境界を維持しながら外部システムおよびAPIとの相互作用を有効にすることにより、アシスタント機能を拡張します。 Connecting data into external tools を参照してください。
ツールタイプ
REST API 認証を使用して外部サービスに接続します
データベースクエリー 運用データベースに対してSQLを実行します
内部サービス クラスター内のKubernetesサービスを呼び出します
カスタムファンクション 特殊なロジックをコンテナ化されたサービスとして展開します
セキュリティ制御
Kubernetesシークレットを介した資格管理
悪用を防ぐためのレート制限
コンプライアンス追跡のための監査ログ
アシスタント構成ごとのスコープ制限
一般的な使用例#
エンタープライズナレッジマネージメント#
組織は、異種の情報ソースを、自然言語インターフェイスを介してアクセスできる統合された検索可能なナレッジベースに統合します。
実装パターン
複数のリポジトリからドキュメントを取り込みますConfluence、SharePoint、Google Drive
クロスソース検索のセマンティックインデックスを作成する
フィルタリングされたアクセスを使用してさまざまな部門にアシスタントを展開する
コンプライアンス要件の監査証跡を維持する
例 技術文書アシスタント ソフトウェア会社は、すべての技術文書、APIリファレンス、およびサポートチケットのインデックスを作成します。エンジニアは自然言語を使用してシステムを照会し、ソースの引用を含む状況依存の回答を受け取ります。
カスタマーサービスオートメーション#
インテリジェントなアシスタントは、製品知識とリアルタイムのシステムアクセスを組み合わせて、顧客の問い合わせに対応します。
機能
ドキュメントナレッジベースを使用して製品の質問に回答する
API統合を介した注文ステータスの確認
複雑な問題のサポートチケットを作成する
必要に応じて人間のエージェントにエスカレーション
例E-commerceサポートボット オンライン小売業者は、顧客の問い合わせの70%を自動的に処理するアシスタントを展開し、統一インターフェイスを介して注文システム、製品カタログ、返品ポリシーにアクセスします。
コンプライアンスと監査のサポート#
組織はGen AIを活用して、複雑な規制要件をナビゲートし、コンプライアンス文書を維持します。
機能
特定の要件について規制知識ベースを照会します
運用データからコンプライアンスレポートを生成
会話スレッドを介して意思決定の根拠を追跡する
レビューのために不変の監査ログを維持する
例金融コンプライアンスアシスタント 銀行は、コンプライアンス担当者が規制を解釈し、必要なレポートを生成し、完全なトレーサビリティを持つ意思決定プロセスを文書化するのを支援するアシスタントを作成します。
運用上の考慮事項#
パフォーマンスの最適化#
システムのパフォーマンスは、複数の要素に依存します。運用展開には、注意的な調整が必要です。
主要なメトリック
取得レイテンシー 関連ドキュメントを取得する時間
Generation Latency 応答のLLM推論時間
エンドツーエンドレイテンシー クエリーから応答までの合計時間
スループット 処理される同時要求
最適化テクニック
並列検索のためのナレッジベースの分割
よくある質問の回答キャッシュ
モデルの量子化による推論速度の向上
データベースアクセスのための接続プーリング
リソース管理#
Gen AIアプリケーションでは、コンピューティング、メモリ、ストレージのディメンション全体にわたって注意深くリソースを割り当てる必要があります。
リソース要件
Knowledge Base Storage ベクターとメタデータのPostgreSQL容量
モデルサービス LLM推論用のGPUリソース
アプリケーションポッド オーケストレーションロジック用のCPUとメモリ
ネットワーク帯域幅 コンポーネント間のデータ転送
スケーリング戦略
検索サービスのホリゾンタル スケーリング
開発ワークロードのGPU共有
プロダクションアシスタントのための専用リソース
要求パターンに基づいた自動スケーリング
セキュリティフレームワーク#
包括的なセキュリティ制御は、アプリケーションのライフサイクル全体で機密データを保護します。
アクセス制御
アシスタントアクセスのためのロールベースの権限
ユーザーコンテキストに基づいたナレッジベースのフィルタリング
アシスタント構成ごとのツールの承認
外部アクセスのAPIキー管理
データ保護
ナレッジベースコンテンツの保存時の暗号化
すべてのサービス間通信のTLS
ログの機密情報のサニタイズ
Kubernetesシークレットの安全な資格情報ストレージ
モニタリングとオブザーバビリティ#
会話トラッキング#
スレッド管理は、デバッグとコンプライアンスのためのアシスタントの相互作用の包括的な可視性を提供します。 Gen AI Builder (Assistants & threads) を参照してください。
ネジコンポーネント
ユーザーのクエリとアシスタントの応答
関連性スコアを含む取得されたドキュメント
パラメーターと結果を使用したツール呼び出し
トークンの使用量と遅延メトリック
分析機能
応答品質評価
知識ギャップの特定
パフォーマンスのボトルネックの検出
ユーザー満足度の追跡
システムモニタリング#
運用メトリックにより、信頼性の高いサービス提供とキャパシティプランニングが保証されます。
監視エリア
ナレッジベースのクエリパターンとパフォーマンス
モデルのエンドポイントの使用率とレイテンシー
ツールAPIの成功率と応答時間
リソース消費傾向
アラートシナリオ
SLAしきい値を超える高レイテンシー
機能に影響するツール呼び出しの失敗
リソース枯渇のリスク
問題を示す異常な使用パターン
実装ガイド#
はじめに#
組織は、展開を拡大する前に、価値を実証する焦点を絞ったユースケースから始める必要があります。
初期セットアップ
ナレッジベース作成のためのエンベディングモデルを展開する
初期ナレッジベースのデータソースの構成
生成タスクのためのLLMの展開
基本的な検索を備えた単純なアシスタントを作成する
検証手順
サンプルクエリを使用した取得品質のテスト
ソース文書に対する応答の精度を検証する
予想される負荷の下でのパフォーマンスを測定する
セキュリティ制御とアクセスパターンを確認します
ベストプラクティス#
ナレッジベースデザイン
帰属のための明確なドキュメント境界を維持する
新しいコンテンツの定期的な更新サイクルを実装します
メタデータを効果的に使用してフィルタリング
取得品質メトリックの監視
アシスタントの構成
制限的なディレクティブから始めて、徐々に拡張します
エッジケースと障害シナリオのテスト
ツール障害のフォールバック戦略の実装
バージョン管理アシスタントの構成
運用展開
ベースラインパフォーマンスメトリックを確立する
段階的なロールアウト戦略の実装
ユーザーのフィードバックと満足度を監視する
構成のバックアップを維持する
ハイブリッドマネージャーとの統合#
プロジェクト組織#
Gen AIリソースはハイブリッドマネージャープロジェクト内で展開され、名前空間の分離とリソース制御を継承します。
プロジェクトリソース
PostgreSQLデータベースとしてのナレッジベース
Kubernetes展開としてのアシスタント
サービスとしてのツールの統合
永続ストレージとしてのスレッド
UIワークフロー#
Hybrid Managerは、深い技術的な専門知識を必要とせずにGen AI開発のためのビジュアルインターフェイスを提供します。
ビジュアル機能
ドラッグアンドドロップのアシスタント構成
ナレッジベース作成ウィザード
ツール登録インターフェイス
会話テスト環境
プログラムによるアクセス#
SDKとAPIにより、既存のアプリケーションおよび自動ワークフローとの統合が可能になります。
統合オプション
アプリケーション開発用のPython SDK
サービス統合のためのREST API
GitOpsワークフローのKubernetesオペレーター
自動化スクリプト用のCLIツール
次のステップ#
Gen AI Builder機能の検討を開始します。
コンセプトの確認 Concepts and architecture および AI Factory Architecture on Hybrid Manager を理解する
ナレッジベースの作成 knowledge base guide に従ってください
Build Assistant assistant creation guide を使用します
アプリケーションの展開 quickstart UI を使用して実装します
詳細なドキュメントについては
What are assistants and how do they work?