Model Serving in Hybrid Manager#
ハイブリッドマネージャーの Model Serving は、AIモデルをプロダクショングレードの推論サービスとして提供するスケーラブルなKubernetesネイティブの方法を提供します。
これは、 KServe を使用して実装され、ハイブリッドマネージャープロジェクトのKubernetesクラスターのGPU対応ノードで実行されます。 Model Servingにより、Gen AIアプリケーション、ナレッジベース、カスタムパイプラインは、制御の下で高性能モデルを使用できます。
Model Servingがハイブリッドマネージャーアーキテクチャにどのように適合するか#
モデルサービングは、ハイブリッドマネージャーの AI Factory ワークロードのコア機能です。
モデルは、プロジェクトのKubernetesクラスター内のKServe InferenceServices として展開されます。
Model Servingは、プロビジョニングおよび管理するGPU対応インフラストラクチャによって駆動されます。
モデル画像は、ハイブリッドマネージャーのイメージガバナンスに支えられている アセットライブラリー 旧モデルライブラリーから取得しています。
モデルエンドポイントHTTP / gRPCは、次の目的で使用できます。
Gen AI Builderアシスタント。
AIDBナレッジベース。
外部アプリケーションとAPI。
ハイブリッドマネージャーのモデルサービングは、すべてのモデルサービングが管理され、監査可能で、インフラストラクチャ内で安全に実行されることを保証し、 ソブリンAI パターンを有効にします。
ハイブリッドマネージャーでの仕組み#
KServeは、プロジェクトのKubernetesクラスター内のハイブリッドマネージャーによってインストールおよび管理されます。
高パフォーマンスのモデルサービングをサポートするには、GPUノードグループまたはノードプールをプロビジョニングする必要があります。
GPUノードは正しくラベル付けされ、KServeワークロードをサポートするように構成されている必要があります。
モデルは、 ClusterServingRuntimeおよびInferenceService定義を介して アセットライブラリー から展開されます。
アプリケーションとAI Factoryのワークロードは、RESTまたはgRPCを介してモデルエンドポイントを呼び出すことができます。
ハイブリッドマネージャーの主要な考慮事項#
GPUインフラストラクチャは、LLM、エンベディング、ビジョンモデルなどの最も高度なモデルに必要です。
ハイブリッドマネージャーは、PrometheusメトリックやKubernetesネイティブのモニタリングを含むモデルサービングの完全な可観測性を有効にします。
モデルサービングエンドポイントは、ハイブリッドマネージャープロジェクトスコープ内で保護および管理されます。
モデルイメージと展開のガバナンスは、ハイブリッドマネージャーの統合された アセットライブラリー とイメージコントロールから実現します。
一般的な使用例#
LLMまたは埋め込みモデルを使用したPower Gen AI Builderアシスタント。
GPUアクセラレーションの埋め込みパイプラインを使用してAIDBナレッジベースを有効にします。
マルチモーダル検索システムの一部として画像モデルOCR、ビジョンを提供します。
エンタープライズグレードのモデルAPIをダウンストリームアプリケーションに公開します。