Model Serving Explained ======================= **AI Factory** の **Model Serving** を使用すると、Kubernetesインフラストラクチャで実行されるスケーラブルな運用グレードの推論サービスとしてAIモデルを展開できます。 **KServe** に基づいた **Kubernetesネイティブアーキテクチャ** を提供し、モデルにネットワークアクセス可能なAPIを介して予測と埋め込みを提供できる機能を提供します。 AI Factory Model Servingは、エンタープライズクラスのAIワークロードをサポートするように最適化されています。 - **GPU高速化インフラストラクチャ** - **柔軟なスケーリング** - **統合された可観測性** - **ソブリンAIアライメント** — ガバナンスの下で実行されるモデル - Gen AI Builder、ナレッジベース、およびその他のAI Factoryパイプラインとの **シームレスな統合** ``---`` 始める前に ---------- モデルサービスを理解するための前提条件 - **Kubernetes** の基本に関する知識 - **KServe** および **InferenceService** の理解 - **モデルライブラリー** の認識 → AI Factoryのモデル提供ワークフロー - **ソブリンAI** 原則の理解 — ガバナンスの下で実行されるモデル 推奨される読書 - :ref:`Model Serving Concepts ` - :ref:`Model Library Explained In Depth ` - :ref:`Fundamental AI Concepts ` ``---`` モデルサービスの仕組み ---------------------- コアスタック ^^^^^^^^^^^^ .. csv-table:: :header: Layer,Purpose :widths: 10,30 :align: left :class: longtable **AI Factory** ,Provides infrastructure and Model Serving APIs **Hybrid Manager Kubernetes Cluster** ,Hosts model-serving workloads **KServe** ,Manages model serving lifecycle and APIs **InferenceService** ,Deployed model resource **Model Library** ,Manages model image versions **GPU Nodes** ,Run high-performance model serving pods **User Applications** ,Call model endpoints via REST/gRPC 主要コンポーネント ^^^^^^^^^^^^^^^^^^ - **InferenceService** — デプロイされたモデルを表すKubernetes CRD。 - **ServingRuntime / ClusterServingRuntime** — 再利用可能なランタイム構成を定義します。 - **モデルコンテナ** - 現在、AI Factory 1.2の **NVIDIA NIM** コンテナに焦点を当てています。 - **可観測性** — 統合されたPrometheus互換のメトリック、Kubernetesロギング。 ``---`` サポートされているモデル ------------------------ AI Factory Model Servingは、現在 **NVIDIA NIM** コンテナをサポートしています。 .. csv-table:: :header: Model Type,Example Usage :widths: 10,30 :align: left :class: longtable **Text Completion** ,"LLM agents, Assistants" **Text Embeddings** ,"Knowledge Bases, RAG" **Text Reranking** ,RAG pipelines **Image Embeddings** ,Multi-modal search **Image OCR** ,Document extraction :ref:`Supported models ` を参照してください。 ``---`` デプロイメントアーキテクチャ ---------------------------- ``Applications → Model Endpoints (REST/gRPC) → KServe → GPU-enabled Kubernetes → Model Containers`` - 各モデルは、独自の **InferenceService** に分離されます。 - KServeは以下を管理します - モデルのライフサイクル 開始、停止、更新 - スケーリング スケールトゥゼロを含む - エンドポイントルーティングREST / gRPC - GPUリソースは、ハイブリッドマネージャー統合を介してプロビジョニングおよびスケジュールされます。 ``---`` 使用パターン ------------ Gen AI Builder ^^^^^^^^^^^^^^ - LLMエンドポイントは、 **アシスタント** および **エージェント** を強化します。 - 埋め込みモデルは、ハイブリッドRAGパイプラインをサポートします。 ナレッジベース ^^^^^^^^^^^^^^ - 埋め込みモデルは、 **ベクトル化** のニーズに対応します。 - 取得と再ランキングモデルは、 **セマンティック検索** パイプラインを強化します。 カスタムアプリケーション ^^^^^^^^^^^^^^^^^^^^^^^^ - ビジネスアプリケーションは、次の **InferenceService** エンドポイントを消費できます。 - リアルタイム予測 - 画像分析 - テキスト処理 ``---`` ベストプラクティス ------------------ - **モデルライブラリー→モデル提供** フローを介してモデルを展開して、ガバナンスを保証します。 - 再利用可能なランタイム構成には **ClusterServingRuntime** を使用します。 - **GPU使用率** とモデルのレイテンシーを注意深く監視します。 - 運用環境での準備のために **スケールトゥゼロ** 構成をテストします。 - **モデルライブラリータグ** がバージョン管理され文書化されていることを確認します。 - ソブリンAIガバナンスの一部として、展開された **InferenceServices** を定期的に監査します。 ``---`` 概要 ---- AI FactoryのModel Servingは、 **運用AIモデル** を提供するための堅牢でスケーラブルなアーキテクチャを提供します。 - KServeを使用したKubernetesネイティブサービング - GPUアクセラレーションと最適化されたサービングランタイム - 統合されたオブザーバビリティとガバナンス - AI Factoryコンポーネントとの緊密な統合Gen AI Builder、ナレッジベース、カスタムAIパイプライン Model Servingは、 **ソブリンAI** をモデル、インフラストラクチャ、制御下で実装するのに役立ちます。 ``---`` 次のステップ ------------ - :ref:`How-To Create an InferenceService for NVIDIA NIM Container ` - :ref:`How-To Verify InferenceServices and GPU usage ` - :ref:`How-To Deploy an NVIDIA NIM Microservices available on build.nvidia.comcontainer with KServe ` - :ref:`Model Library Explained In Depth ` ``---`` Model Servingは、 **EDB Postgres® AI** の一部として、インテリジェントなアプリケーションとデータ製品を安全に、スケーラブルに、ガバナンスの下で構築するための強力な基盤を提供します。 ``---``