GPUs in Model Serving#
GPUアクセラレーションは、最新のディープラーニングモデルを実稼働環境で実行するために不可欠です。多くの大規模言語モデルLLM、埋め込みモデル、およびビジョンモデルでは、許容可能な推論パフォーマンスを提供するためにGPUが必要です。
AI Factoryのモデルサービングは、これらのモデルを実行するKServe InferenceServicesをホストするためにGPU対応のKubernetesノードに依存しています。
モデルサービスにとってGPUが重要な理由#
多くの NVIDIA NIMコンテナ は、最適化された推論サービスを使用してGPUで実行されるように設計されています。
AI FactoryのModel Servingは、Kubernetesを介して GPUスケジューリングとリソース制御 をサポートしています。
GPUノードは、CPUで実行するには遅すぎるか高価すぎるサービスモデルを有効にします。
GPUベースのサービングは、 AIDB Knowledge Bases および GenAI Builderアシスタント を大規模にサポートしています。
ハイブリッドマネージャーでのGPU使用率#
Hybrid ManagerHCPは、Model Servingが実行されるKubernetesインフラストラクチャを管理します。このコンテキストでは
GPU対応ノードグループAWS EKSまたはノードプールGCP GKE、RHOSをプロビジョニングする必要があります。
KServeモデルポッド が適切にスケジュールできるように、これらのノードにラベルを付けて汚染する必要があります。
GPUリソースをKubernetesに公開するには、NVIDIA Kubernetesデバイスプラグインをインストールする必要があります。
Kubernetesシークレットを作成して、NIMモデルに必要な NVIDIA APIキー を保存する必要があります。
あなたが実行できるアクション#
GPUベースのモデルサービスを有効にするには
HCP KubernetesクラスターにGPUノードグループをプロビジョニングします。
GPUノードを正しくラベル付けし、テイントします。
NVIDIAデバイスプラグインDaemonSetを展開します。
NVIDIA APIキーを使用してKubernetesシークレットを作成します。
GPUノードをターゲットとするClusterServingRuntimeおよびInferenceServiceマニフェストを展開します。
関連概念#
Model Serving overview