Model Serving Explained

Model Serving Explained#

AI Factory の Model Serving を使用すると、Kubernetesインフラストラクチャで実行されるスケーラブルな運用グレードの推論サービスとしてAIモデルを展開できます。

KServe に基づいた Kubernetesネイティブアーキテクチャ を提供し、モデルにネットワークアクセス可能なAPIを介して予測と埋め込みを提供できる機能を提供します。

AI Factory Model Servingは、エンタープライズクラスのAIワークロードをサポートするように最適化されています。

  • GPU高速化インフラストラクチャ

  • 柔軟なスケーリング

  • 統合された可観測性

  • ソブリンAIアライメント — ガバナンスの下で実行されるモデル

  • Gen AI Builder、ナレッジベース、およびその他のAI Factoryパイプラインとの シームレスな統合

---

始める前に#

モデルサービスを理解するための前提条件

  • Kubernetes の基本に関する知識

  • KServe および InferenceService の理解

  • モデルライブラリー の認識 → AI Factoryのモデル提供ワークフロー

  • ソブリンAI 原則の理解 — ガバナンスの下で実行されるモデル

推奨される読書

---

モデルサービスの仕組み#

コアスタック#

Layer

Purpose

AI Factory

Provides infrastructure and Model Serving APIs

Hybrid Manager Kubernetes Cluster

Hosts model-serving workloads

KServe

Manages model serving lifecycle and APIs

InferenceService

Deployed model resource

Model Library

Manages model image versions

GPU Nodes

Run high-performance model serving pods

User Applications

Call model endpoints via REST/gRPC

主要コンポーネント#

  • InferenceService — デプロイされたモデルを表すKubernetes CRD。

  • ServingRuntime / ClusterServingRuntime — 再利用可能なランタイム構成を定義します。

  • モデルコンテナ - 現在、AI Factory 1.2の NVIDIA NIM コンテナに焦点を当てています。

  • 可観測性 — 統合されたPrometheus互換のメトリック、Kubernetesロギング。

---

サポートされているモデル#

AI Factory Model Servingは、現在 NVIDIA NIM コンテナをサポートしています。

Model Type

Example Usage

Text Completion

LLM agents, Assistants

Text Embeddings

Knowledge Bases, RAG

Text Reranking

RAG pipelines

Image Embeddings

Multi-modal search

Image OCR

Document extraction

Supported models を参照してください。

---

デプロイメントアーキテクチャ#

Applications → Model Endpoints (REST/gRPC) → KServe → GPU-enabled Kubernetes → Model Containers

  • 各モデルは、独自の InferenceService に分離されます。

  • KServeは以下を管理します

  • モデルのライフサイクル 開始、停止、更新

  • スケーリング スケールトゥゼロを含む

  • エンドポイントルーティングREST / gRPC

  • GPUリソースは、ハイブリッドマネージャー統合を介してプロビジョニングおよびスケジュールされます。

---

使用パターン#

Gen AI Builder#

  • LLMエンドポイントは、 アシスタント および エージェント を強化します。

  • 埋め込みモデルは、ハイブリッドRAGパイプラインをサポートします。

ナレッジベース#

  • 埋め込みモデルは、 ベクトル化 のニーズに対応します。

  • 取得と再ランキングモデルは、 セマンティック検索 パイプラインを強化します。

カスタムアプリケーション#

  • ビジネスアプリケーションは、次の InferenceService エンドポイントを消費できます。

  • リアルタイム予測

  • 画像分析

  • テキスト処理

---

ベストプラクティス#

  • モデルライブラリー→モデル提供 フローを介してモデルを展開して、ガバナンスを保証します。

  • 再利用可能なランタイム構成には ClusterServingRuntime を使用します。

  • GPU使用率 とモデルのレイテンシーを注意深く監視します。

  • 運用環境での準備のために スケールトゥゼロ 構成をテストします。

  • モデルライブラリータグ がバージョン管理され文書化されていることを確認します。

  • ソブリンAIガバナンスの一部として、展開された InferenceServices を定期的に監査します。

---

概要#

AI FactoryのModel Servingは、 運用AIモデル を提供するための堅牢でスケーラブルなアーキテクチャを提供します。

  • KServeを使用したKubernetesネイティブサービング

  • GPUアクセラレーションと最適化されたサービングランタイム

  • 統合されたオブザーバビリティとガバナンス

  • AI Factoryコンポーネントとの緊密な統合Gen AI Builder、ナレッジベース、カスタムAIパイプライン

Model Servingは、 ソブリンAI をモデル、インフラストラクチャ、制御下で実装するのに役立ちます。

---

次のステップ#

---

Model Servingは、 EDB Postgres® AI の一部として、インテリジェントなアプリケーションとデータ製品を安全に、スケーラブルに、ガバナンスの下で構築するための強力な基盤を提供します。

---

目次