Gen AI Builder on Hybrid Manager

Gen AI Builder on Hybrid Manager#

概要#

Hybrid Manager内のGen AI Builderを使用すると、組織は、大規模言語モデルと組織データを組み合わせたインテリジェントなアプリケーションを作成できます。すべてが制御されたKubernetesインフラストラクチャ内で実行されます。このプラットフォームは、外部依存なしで検索拡張生成RAGシステム、会話アシスタント、自動ワークフローを構築するためのビジュアルおよびプログラム的なインターフェイスを提供します。 Gen AI Builder on Hybrid Manager を参照してください。

この統合により、完全なデータ主権が保証されます。ナレッジベース、モデルの相互作用、会話履歴はインフラストラクチャ内に残りますが、ローカルに展開されたモデルを介して最先端のAI機能を活用します。

コアアーキテクチャ#

LLM統合#

Gen AI Builderは、ハイブリッドマネージャーの モデルサービング インフラストラクチャを介して展開されたモデルに接続し、テキスト生成、埋め込み、および再ランキング操作のための言語モデルへのシームレスなアクセスを提供します。

モデルアクセスパターン

  • 低遅延の推論のためのクラスターDNSを介した内部エンドポイント

  • アプリケーション統合のための安全なゲートウェイを介した外部エンドポイント

  • 標準クライアントライブラリを有効にするOpenAI互換API OpenAI API compatibility を参照してください

サポートされているオペレーション

  • 会話型インタラクションのチャットコンプリート

  • セマンティック検索とナレッジベース作成のための埋め込み

  • 取得ワークフローでの結果最適化のための再ランキング

ナレッジベースインフラストラクチャ#

ナレッジベースは、 pgvector and Vector Engine concepts で強化されたPostgreSQLデータベース内の埋め込みとインデックス作成を介して、組織データを検索可能なAI対応形式に変換します。 Knowledge bases in the asset library および ナレッジベースパイプライン を参照してください。

データ処理パイプライン

  1. インジェスト データベース、ドキュメント、APIを含む data sources に接続します

  2. チャンキング コンテンツを意味的に意味のあるセグメントに分割する

  3. エンベディング デプロイされたモデルを使用してベクトル表現を生成

  4. インデックス作成 フィルタリング用のメタデータを使用してベクトルをPostgreSQLに保存します

ストレージアーキテクチャ

  • pgvector拡張子を使用してPostgreSQLに保存されたベクター埋め込み

  • フィルタリングとアトリビューションのために維持されるドキュメントメタデータ

  • 参照と再生成のために保存された元のコンテンツ

  • 動的ナレッジベースでサポートされているインクリメンタル更新

インテリジェントなアプリケーションの構築#

アシスタント開発#

アシスタントは、取得、推論、アクションを組み合わせた構成可能なワークフローを介して、ユーザー、ナレッジベース、および外部システム間の相互作用を調整します。 アシスタントとは何ですか?どのように機能しますか? を参照してください。

構成コンポーネント

例 カスタマーサービスアシスタント

assistant:
  name: customer-support
  directive: "Help customers with product inquiries and order status"
  knowledge_bases:
    - product-documentation
    - order-database
  tools:
    - order-tracking-api
    - ticket-creation
  model: llama-3-8b-instruct

取得拡張生成#

RAGパターンは、LLM応答を組織のナレッジに根付かせ、会話機能を維持しながら幻覚を削減します。 Retrievers を参照してください。

取得フロー

  1. ユーザークエリーは、ナレッジベース全体のセマンティック検索をトリガーします

  2. ベクトルの類似性に基づいて取得された関連文書

  3. ユーザークエリーとともにLLMに提供されるコンテキスト

  4. 取得した情報を使用して生成された応答

最適化戦略

  • ベクトル一致とキーワード一致を組み合わせたハイブリッド検索

  • ドメイン固有の取得のためのメタデータフィルタリング

  • 結果の関連性を向上させるための再ランキング Using NVIDIA NIM を参照してください

  • 大規模なドキュメントのコンテキストウィンドウ管理

ツールの統合#

ツールは、セキュリティ境界を維持しながら外部システムおよびAPIとの相互作用を有効にすることにより、アシスタント機能を拡張します。 データを外部ツールに接続する を参照してください。

ツールタイプ

  • REST API 認証を使用して外部サービスに接続します

  • データベースクエリー 運用データベースに対してSQLを実行します

  • 内部サービス クラスター内のKubernetesサービスを呼び出します

  • カスタムファンクション 特殊なロジックをコンテナ化されたサービスとして展開します

セキュリティ制御

  • Kubernetesシークレットを介した資格管理

  • 悪用を防ぐためのレート制限

  • コンプライアンス追跡のための監査ログ

  • アシスタント構成ごとのスコープ制限

一般的な使用例#

エンタープライズナレッジマネージメント#

組織は、異種の情報ソースを、自然言語インターフェイスを介してアクセスできる統合された検索可能なナレッジベースに統合します。

実装パターン

  • 複数のリポジトリからドキュメントを取り込みますConfluence、SharePoint、Google Drive

  • クロスソース検索のセマンティックインデックスを作成する

  • フィルタリングされたアクセスを使用してさまざまな部門にアシスタントを展開する

  • コンプライアンス要件の監査証跡を維持する

例 技術文書アシスタント ソフトウェア会社は、すべての技術文書、APIリファレンス、およびサポートチケットのインデックスを作成します。エンジニアは自然言語を使用してシステムを照会し、ソースの引用を含む状況依存の回答を受け取ります。

カスタマーサービスオートメーション#

インテリジェントなアシスタントは、製品知識とリアルタイムのシステムアクセスを組み合わせて、顧客の問い合わせに対応します。

機能

  • ドキュメントナレッジベースを使用して製品の質問に回答する

  • API統合を介した注文ステータスの確認

  • 複雑な問題のサポートチケットを作成する

  • 必要に応じて人間のエージェントにエスカレーション

例E-commerceサポートボット オンライン小売業者は、顧客の問い合わせの70%を自動的に処理するアシスタントを展開し、統一インターフェイスを介して注文システム、製品カタログ、返品ポリシーにアクセスします。

コンプライアンスと監査のサポート#

組織はGen AIを活用して、複雑な規制要件をナビゲートし、コンプライアンス文書を維持します。

機能

  • 特定の要件について規制知識ベースを照会します

  • 運用データからコンプライアンスレポートを生成

  • 会話スレッドを介して意思決定の根拠を追跡する

  • レビューのために不変の監査ログを維持する

例金融コンプライアンスアシスタント 銀行は、コンプライアンス担当者が規制を解釈し、必要なレポートを生成し、完全なトレーサビリティを持つ意思決定プロセスを文書化するのを支援するアシスタントを作成します。

運用上の考慮事項#

パフォーマンスの最適化#

システムのパフォーマンスは、複数の要素に依存します。運用展開には、注意的な調整が必要です。

主要なメトリック

  • 取得レイテンシー 関連ドキュメントを取得する時間

  • Generation Latency 応答のLLM推論時間

  • エンドツーエンドレイテンシー クエリーから応答までの合計時間

  • スループット 処理される同時要求

最適化テクニック

  • 並列検索のためのナレッジベースの分割

  • よくある質問の回答キャッシュ

  • モデルの量子化による推論速度の向上

  • データベースアクセスのための接続プーリング

リソース管理#

Gen AIアプリケーションでは、コンピューティング、メモリ、ストレージのディメンション全体にわたって注意深くリソースを割り当てる必要があります。

リソース要件

  • Knowledge Base Storage ベクターとメタデータのPostgreSQL容量

  • モデルサービス LLM推論用のGPUリソース

  • アプリケーションポッド オーケストレーションロジック用のCPUとメモリ

  • ネットワーク帯域幅 コンポーネント間のデータ転送

スケーリング戦略

  • 検索サービスのホリゾンタル スケーリング

  • 開発ワークロードのGPU共有

  • プロダクションアシスタントのための専用リソース

  • 要求パターンに基づいた自動スケーリング

セキュリティフレームワーク#

包括的なセキュリティ制御は、アプリケーションのライフサイクル全体で機密データを保護します。

アクセス制御

  • アシスタントアクセスのためのロールベースの権限

  • ユーザーコンテキストに基づいたナレッジベースのフィルタリング

  • アシスタント構成ごとのツールの承認

  • 外部アクセスのAPIキー管理

データ保護

  • ナレッジベースコンテンツの保存時の暗号化

  • すべてのサービス間通信のTLS

  • ログの機密情報のサニタイズ

  • Kubernetesシークレットの安全な資格情報ストレージ

モニタリングとオブザーバビリティ#

会話トラッキング#

スレッド管理は、デバッグとコンプライアンスのためのアシスタントの相互作用の包括的な可視性を提供します。 Gen AI Builder アシスタント & スレッド を参照してください。

ネジコンポーネント

  • ユーザーのクエリとアシスタントの応答

  • 関連性スコアを含む取得されたドキュメント

  • パラメーターと結果を使用したツール呼び出し

  • トークンの使用量と遅延メトリック

分析機能

  • 応答品質評価

  • 知識ギャップの特定

  • パフォーマンスのボトルネックの検出

  • ユーザー満足度の追跡

システムモニタリング#

運用メトリックにより、信頼性の高いサービス提供とキャパシティプランニングが保証されます。

監視エリア

  • ナレッジベースのクエリパターンとパフォーマンス

  • モデルのエンドポイントの使用率とレイテンシー

  • ツールAPIの成功率と応答時間

  • リソース消費傾向

アラートシナリオ

  • SLAしきい値を超える高レイテンシー

  • 機能に影響するツール呼び出しの失敗

  • リソース枯渇のリスク

  • 問題を示す異常な使用パターン

実装ガイド#

はじめに#

組織は、展開を拡大する前に、価値を実証する焦点を絞ったユースケースから始める必要があります。

初期セットアップ

  1. ナレッジベース作成のためのエンベディングモデルを展開する

  2. 初期ナレッジベースのデータソースの構成

  3. 生成タスクのためのLLMの展開

  4. 基本的な検索を備えた単純なアシスタントを作成する

検証手順

  • サンプルクエリを使用した取得品質のテスト

  • ソース文書に対する応答の精度を検証する

  • 予想される負荷の下でのパフォーマンスを測定する

  • セキュリティ制御とアクセスパターンを確認します

ベストプラクティス#

ナレッジベースデザイン

  • 帰属のための明確なドキュメント境界を維持する

  • 新しいコンテンツの定期的な更新サイクルを実装します

  • メタデータを効果的に使用してフィルタリング

  • 取得品質メトリックの監視

アシスタントの構成

  • 制限的なディレクティブから始めて、徐々に拡張します

  • エッジケースと障害シナリオのテスト

  • ツール障害のフォールバック戦略の実装

  • バージョン管理アシスタントの構成

運用展開

  • ベースラインパフォーマンスメトリックを確立する

  • 段階的なロールアウト戦略の実装

  • ユーザーのフィードバックと満足度を監視する

  • 構成のバックアップを維持する

ハイブリッドマネージャーとの統合#

プロジェクト組織#

Gen AIリソースはハイブリッドマネージャープロジェクト内で展開され、名前空間の分離とリソース制御を継承します。

プロジェクトリソース

  • PostgreSQLデータベースとしてのナレッジベース

  • Kubernetes展開としてのアシスタント

  • サービスとしてのツールの統合

  • 永続ストレージとしてのスレッド

UIワークフロー#

Hybrid Managerは、深い技術的な専門知識を必要とせずにGen AI開発のためのビジュアルインターフェイスを提供します。

ビジュアル機能

  • ドラッグアンドドロップのアシスタント構成

  • ナレッジベース作成ウィザード

  • ツール登録インターフェイス

  • 会話テスト環境

プログラムによるアクセス#

SDKとAPIにより、既存のアプリケーションおよび自動ワークフローとの統合が可能になります。

統合オプション

  • アプリケーション開発用のPython SDK

  • サービス統合のためのREST API

  • GitOpsワークフローのKubernetesオペレーター

  • 自動化スクリプト用のCLIツール

次のステップ#

Gen AI Builder機能の検討を開始します。

  1. コンセプトの確認 Concepts and architecture および AI Factory Architecture on Hybrid Manager を理解する

  2. ナレッジベースの作成 knowledge base guide に従ってください

  3. Build Assistant assistant creation guide を使用します

  4. アプリケーションの展開 quickstart UI を使用して実装します

詳細なドキュメントについては

目次