Verify InferenceServices and GPU Usage in Hybrid Manager

Verify InferenceServices and GPU Usage in Hybrid Manager#

ハイブリッドマネージャーでの推論サービスとGPUの使用状況を検証する#

このガイドを使用して、ハイブリッドマネージャーHCP Kubernetesクラスター内のInferenceServicesの正しい展開と操作ステータス、およびGPUリソースの使用状況を確認します。

ゴール#

デプロイされたInferenceServicesがGPUリソースを正しく利用していることを確認します。

推定時間#

15〜20分。

あなたが達成すること#

  • デプロイされたInferenceServicesのステータスを確認します。

  • GPUリソースの割り当てと使用率を確認します。

  • 一般的な展開とGPU関連の問題のトラブルシューティング。

前提条件#

  • ハイブリッドマネージャーでのGPUリソースとNIMコンテナのセットアップと展開が完了しました。

  • 適切な権限によるHCP Kubernetesクラスターへのアクセス。

  • 基本的なkubectl の使用法に精通していること。

InferenceServicesのステータスの検証#

デプロイしたInferenceServicesのステータスを確認して、動作していることを確認します。

kubectl get inferenceservice -n <namespace>
``` `

`READY` ステータスを探して、サービスが正常に実行されていることを確認します。

##  GPUリソースの使用状況を確認する

ノードでのGPUリソースの割り当てと使用状況を確認します。

```shell
kubectl describe nodes | grep nvidia.com/gpu

出力を確認して、GPUの可用性と割り当てを確認します。

GPU対応ポッド内からnvidia-smi を使用して、リアルタイムのGPU使用率を確認します。

kubectl exec -n <namespace> -it <pod-name> -- nvidia-smi

一般的な問題のトラブルシューティング#

InferenceServiceの準備ができていない場合、またはGPUリソースが適切に割り当てられていない場合

  • NVIDIAデバイスプラグインDaemonSetが実行されていることを確認します。

kubectl get ds -n kube-system nvidia-device-plugin-daemonset

  • 次を使用して、リソース制約またはスケジュールの問題がないかを確認します。

kubectl describe pods -n <namespace>

これらのコマンドによって報告されたエラーまたは問題に対処します。

関連概念#

次のステップ#

  • GPUリソースの使用率とスケーリングを最適化します。

  • モデルのパフォーマンスと状態を監視します。

目次