Model Serving FAQ

Model Serving FAQ#

ここでは、AI FactoryでのModel Servingの使用に関するよくある質問への回答を示します。

現在サポートされているモデルは何ですか?#

AI Factory Model Servingバージョン1.2は、 NVIDIA NIMマイクロサービス としてパッケージされたモデルの展開をサポート

追加のモデルタイプとフォーマットの展開のサポートは、将来のリリースで拡張されます。

サービス提供モデルにはどのようなKubernetesリソースが使用されますか?#

モデルは、モデルを提供するポッドのライフサイクルを管理する KServe InferenceServices を使用して提供されます。

ServingRuntimesや関連するGPU構成のKubernetesノードなどのサポートKServeリソースも使用されます。

どのようなハードウェアが必要ですか?#

NIMベースのモデルサービングには、 GPU対応のKubernetesノード が必要です。

クラウドプロバイダーによってサポートされている構成とノードの推奨事項については、 How-To Update GPU Resources for an InferenceService を参照してください。

カスタムモデルを展開できますか?#

現時点では、AI Factory Model Servingは NIMベースのコンテナ 用に最適化されています。 KServeを介した任意のモデルの展開のサポートが計画されていますが、現在のAI Factoryの合理化されたフローの外部で手動構成が必要です。

スケーリングはどのように処理されますか?#

KServe InferenceServicesは、 Kubernetesネイティブのスケーリング を使用し、互換性のあるランタイムで自動スケーリングがサポートされています。

スケーリング動作は、InferenceService仕様レプリカ、リソースで構成できます。

実行中のモデルをモニタするにはどうすればよいですか?#

次を使用して展開されたモデルをモニタできます。

モデルサービングアーキテクチャの詳細はどこで学べますか?#

参照

---

もっと質問がありますか？ AI Factoryの管理者に連絡するか、 AI Factory Support Resources に相談してください。

目次