Model Serving Concepts#
Model Serving は、 EDB Postgres® AI EDB PG AIのコア機能であり、KubernetesでのAIモデルのスケーラブル、柔軟、およびパフォーマンスの提供を可能にします。
それは次のことを可能にします。
Gen AIアプリケーション
インテリジェントな検索システム
高度なデータパイプライン
モデルサービングは、標準化されたモデル推論用のオープンソースのKubernetesネイティブエンジンである KServe を使用して実装されます。 AI Factoryは、KServeを ハイブリッドマネージャー と統合して、エンタープライズグレードのライフサイクル管理、セキュリティ、およびオブザーバビリティを提供します。
ソブリンAIのキー モデルは、 Kubernetesクラスター で実行され、制御下で、完全な可観測性とガバナンスを備えています。
---
始める前に#
モデルサービスを理解するための前提条件
Kubernetesの基本 ポッド、サービス、展開に関する知識
Kubernetes CRDとしての InferenceService の理解
モデルライブラリー とモデルの登録および展開方法の認識
EDB PG AIの ソブリンAI原則 の理解
推奨されるパス
---
それが重要な理由#
モデルサービングにより、 AIモデル と Postgresデータ は、 ソブリンAI 原則の下でシームレスに安全かつスケーラブルに連携できます。
オープンソースまたは商用モデル をKubernetesクラスターに展開します。
アシスタント 、 ナレッジベース 、および RAG パイプラインのServe Gen AIモデル。
マルチモーダル取得 テキスト、画像、ハイブリッド検索をサポートします。
GPUアクセラレーション とサーバーサイドのバッチ処理でパフォーマンスを最適化します。
モデルの使用よりも完全な 可観測性 、 監査 、および ガバナンス を維持します。
実稼働環境でのハイブリッドマネージャーモデルサービングの統合も参照してください。
---
コアコンセプト#
InferenceServiceKServe経由#
Model Servingの中核は、 InferenceService です。これは、展開されたモデルを表すKubernetesネイティブリソースです。
エンドツーエンドのサービングパイプラインを定義します。
Predictor — モデルサーバーを実行し、推論を処理します。
Transformer オプショナル — 前処理または後処理を適用します。
Explainer オプショナル — モデルの説明可能性出力を提供します。
プレディクター#
予測子は次を定義します。
モデルフォーマット — PyTorch、TensorFlow、ONNX、Tritonなど
モデルの場所 — S3互換ストレージ、OCIレジストリ、PVC。
リソース — CPU、メモリ、GPU。
自動スケーリング — スケールトゥゼロを含む弾性スケーリングのポリシー。
ServingRuntime / ClusterServingRuntime#
提供するための再利用可能なランタイム定義
ServingRuntime — 名前空間スコープ。
ClusterServingRuntime — クラスター全体の再利用可能なランタイム。
利点
ランタイム設定をモデルタイプとハードウェアに合わせて調整します。
チームとプロジェクト全体でランタイム構成を標準化します。
---
その仕組み#
ライフサイクルフロー#
モデル画像を モデルライブラリー に登録します。
Model Serving コンソールまたはCLIを介してモデルを展開 → InferenceServiceを作成します。
AI Factory + KServeは、Kubernetesリソースポッド、サービスをプロビジョニングします。
モデルがランタイムコンテナにロードされます。
Kubernetesサービスエンドポイントが公開されます。
クライアントはHTTP / gRPC推論要求を送信します。
要求はトランスフォーマーと説明者を介して渡される場合があります。
推論応答が返されます。
---
主な機能#
マルチフレームワークのサポート PyTorch、TensorFlow、ONNX、XGBoost、Tritonなど。
GPUアクセラレーション — ネイティブNVIDIA GPUサポート。
オートスケーリング — Knativeを介したスケールトゥゼロを含みます。
オブザーバビリティ Prometheusメトリック、Kubernetesロギング、およびHybrid Managerダッシュボード。
バッチ処理 — スループットを向上させるためのサーバーサイドのバッチ処理。
Explainability — モデルの説明可能性ツールのサポート。
セキュリティとソブリンAI — モデルは、制御の下のKubernetesクラスターで実行されます。
---
使用パターン#
Gen AI Builder#
アシスタント および エージェント を強化するLLMとマルチモーダルモデルを提供します。
ナレッジベース#
次の場所で使用されるサービス埋め込みおよび取得モデル
ナレッジベースのインデックス作成
RAGパイプライン
カスタムアプリケーション#
InferenceServiceエンドポイントを次の場所に公開します。
ビジネスアプリケーション
マイクロサービス
ETL / ELTパイプライン
ハイブリッド+ソブリンAIの連携#
すべてのモデルは、ハイブリッドマネージャーKServeレイヤーを介して インフラストラクチャ で実行されます。
あなたは以下をコントロールします
どのモデルが展開されているか
リソースの割り当て
デプロイメントトポロジ
可観測性と監査
---
ベストプラクティス#
ガバナンスを保証には、常に モデルライブラリー→モデル提供 フローを介してモデルを展開します。
リソース消費量、特にGPU使用率を監視します。
運用環境で使用する前に、 スケールトゥゼロ ポリシーを注意深くテストします。
一貫性を保つために ServingRuntime および ClusterServingRuntime テンプレートを使用します。
モデルライブラリーに 量産モデル を明確にタグ付けして文書化します。
InferenceServiceの展開を定期的に監査します。ソブリンAIにとって重要です。
---
AI Factoryで#
Model Servingは、EDB PG AIの複数のコンポーネントを強化します。
Component |
How it uses Model Serving |
|---|---|
Gen AI Builder |
Runs LLMs and specialized models for Assistants |
Knowledge Bases |
Serves embedding and retrieval models for RAG |
Custom AI apps |
Exposes InferenceService endpoints for business use cases |
AI Factoryは、以下を介してモデルサービングを管理します。
画像管理のための統合 **モデルライブラリー* 。
GPUリソース管理 とスケジューリング。
一元化された 可観測性 とロギング。
ライフサイクル制御のためのシームレスなハイブリッドマネージャーの統合。
---
関連トピック#
---
次のステップ#
モデルライブラリー で使用可能なモデルを探索します。
Model Serving を使用して、最初のモデルを展開します。
ハイブリッドマネージャーの可観測性ダッシュボードを介して展開されたモデルを監視します。
高度なモデルサービス機能を探索します。
マルチモーダルパイプライン
トランスフォーマーとインストーラー
スケールトゥゼロポリシー
---
Model Servingは、 EDB PG AI を使用した ソブリンAI 戦略の一部として、インテリジェントで管理されたAIアプリケーションを安全かつスケーラブルに構築するための強力な基盤を提供します。
---