Gen AI Builder in Hybrid Manager

Gen AI Builder in Hybrid Manager#

ハイブリッドマネージャー の Gen AI Builder を使用すると、データ、モデル、アプリケーションの動作を完全に制御しながら、 ソブリンAI アーキテクチャと完全に調整された、高度な *エージェントAIアプリケーション** を構築できます。 。

ビルダーアプリケーションは、プロジェクトのKubernetesクラスター内のコンテナとして実行され、以下と対話します。

  • KServe-powered Model Serving エンドポイント

  • ハイブリッドマネージャープロジェクトに組み込まれた ナレッジベース

  • ビジネスロジックを実行し、外部システムにアクセスするための ツール および 構造体

より深い背景については、AI Factoryハブの Gen AI Builder concepts page と Gen AI Builder in Hybrid Manager を参照してください。

ハイブリッドマネージャーでのGen AI Builderの仕組み#

  • Gen AI Builderアプリケーションは、プロジェクトの Kubernetesクラスター で実行されます。外部コンピューティングの依存関係は必要ありません。

  • ビルダーは、 モデル提供 を介して展開されたモデルを呼び出すことができます。 Model Serving in Hybrid Manager を参照してください。

  • ビルダーは、ハイブリッドマネージャープロジェクトにビルドされた ナレッジベース からコンテンツを取得します。 Knowledge Bases explained を参照してください。

  • ビルダーは、プロジェクト内に実装された ツール を呼び出します。 Tools explained を参照してください。

  • ビルダーは スレッド を管理して、ステートフルで監査可能な会話を有効にします。 Threads explained を参照してください。

  • ビルダーは ルールセット を活用して、ガバナンスと動作の一貫性を適用できます。 Rulesets explained を参照してください。

ハイブリッドマネージャーの主要な考慮事項#

  • ビルダーアプリケーションは、高パフォーマンスの推論のために必要な場合、 GPU対応インフラストラクチャ で実行されます Update GPU Resources 。

  • ビルダーは、ハイブリッドマネージャープロジェクト Deploy AI Models 内に展開された KServeベースのModel Serving エンドポイントにアクセスします。

  • ビルダーは、プロジェクト内で作成された ナレッジベース にアクセスできます。 AI Accelerator Knowledge Base page を参照してください。

  • ビルダーは完全にハイブリッドマネージャー環境内で動作します— ソブリンAI 原則をサポート

  • お客様のデータ

  • あなたのモデル

  • AIパイプライン

  • 完全な可観測性と制御

Sovereign AI explained を参照してください。

ハイブリッドマネージャーの一般的なGen AI Builderフロー#

  1. ツール — How-To: Create a Tool をビルドまたは展開します。

  2. ナレッジベース — How-To: Create a Knowledge Base を作成および構成します。

  3. モデル提供 — How-To: Deploy a NIM container を介して、サポートする モデル を展開します。

  4. 必要に応じて ルールセット を構成します — How-To: Create a Ruleset 。

  5. Gen AI ビルダー Gen AI Builder in Hybrid Manager を使用して、 アシスタント および/または エージェントワークフロー をビルドします。

  6. スレッド をモニタし、動作を調整します — How-To: View Threads 。

詳細はこちら#

目次