Deployment Overview

Deployment Overview#

AI Factoryを使用すると、AIモデルをスケーラブルな運用対応の推論サービスとして簡単に展開できます。このプラットフォームは、モデルサービングエンジンとして KServe を使用し、Hybrid ManagerHM Kubernetesインフラストラクチャ内で動作します。

このページでは、モデル展開の一般的なフローを説明し、実践的な手順に関する主要なハウツーガイドへのリンクを提供します。

導入フローの概要#

  • HMプロジェクトで KServe InferenceServices を作成することにより、モデルを展開します。

  • AI Factoryは、これらのサービスを実行するための GPU対応のKubernetesインフラストラクチャ を提供します。

  • サポートされている NVIDIA NIMマイクロサービス または他の互換性のあるモデルを展開できます。

  • モデルライブラリー は、モデルイメージの検出と管理に役立ちます。

  • アプリケーションは、 HTTP または gRPC APIを介してモデルエンドポイントにアクセスします。

展開コンポーネント#

KServe InferenceService#

各モデルは、KubernetesネイティブのInferenceService オブジェクトを介して展開されます。

  • モデルサーバーポッドのライフサイクルを管理します。

  • スケーリング、ヘルスチェック、およびルーティングを処理します。

  • モデル使用のためのネットワークエンドポイントを公開します。

ClusterServingRuntime#

上級ユーザーは、 ClusterServingRuntime リソースを構成して、モデルのランタイム環境をカスタマイズすることもできます。

どこから始めるべきか#

モデルを展開する準備ができている場合は、次のガイドに従ってください。

ハイブリッドマネージャーの統合#

Model Servingは、 Hybrid ManagerHM Kubernetesクラスターで実行されます。ハイブリッドマネージャーとGPUセットアップの詳細については、次のとおりです。

ベストプラクティス#

  • モデルライブラリーを使用して、サポートされているモデルを選択します。

  • クラスターに十分なGPUリソースがあることを確認します。

  • 導入されたモデルを監視して、パフォーマンスと可用性を保証します。

  • 高度なカスタマイズが必要な場合は、 ClusterServingRuntime を使用します。

次のステップ#

この展開フローに従うことにより、完全な可観測性とスケールでAIモデルを実行できます。より広範なAI FactoryおよびHybrid Managerエコシステムと直接統合されています。

目次