AI Factory Models ================= AIファクトリーモデル ==================== **AI Factory Models** は、 EDB Postgres AI環境内のAIモデルの包括的なライフサイクル管理を提供し、ハイブリッドマネージャーインフラストラクチャとの緊密な統合を介してエンタープライズグレードのガバナンスとスケーラブルな推論機能を提供します。 システムの概要 -------------- AI Factory Modelsは、モデルガバナンスと運用展開を橋渡しする統合プラットフォームとして動作し、AI資産の組織的な制御を保証しながら、EDB PG AI機能全体のシームレスな統合を可能にします。このシステムは、取得からリタイアまでの完全なモデルのライフサイクルを管理し、一貫した操作手順とセキュリティ制御を提供します。 コアコンポーネント ^^^^^^^^^^^^^^^^^^ \**モデルライブラリー\* モデルイメージリポジトリ、承認ワークフロー、メタデータ追跡を管理する集中ガバナンスシステム。このライブラリは、コンプライアンス要件の包括的な監査証跡を維持しながら、検証されたモデルのみが運用環境に到達することを保証します。 **モデルサービングインフラストラクチャ** 承認されたモデルを、ハイブリッドマネージャーによって管理されるKubernetesクラスター内のスケーラブルな推論エンドポイントに変換するKServeベースの展開エンジン。サービングレイヤーは、自動スケーリング、状態モニタリング、リソースの最適化を含むエンタープライズグレードの操作特性を提供します。 **統合フレームワーク** モデル推論機能をAIアクセラレーターパイプライン、ナレッジベース、およびGen AI Builderアプリケーションに接続し、すべてのEDB PG AIワークロードで一貫したモデルアクセスパターンを保証する標準化されたインターフェイス。 戦略的メリット -------------- ソブリンAIの実装 ^^^^^^^^^^^^^^^^ 組織は、外部のAPIサービスに依存するのではなく、独自のKubernetes環境内にモデルを展開することにより、AIインフラストラクチャの完全な制御を実現します。このアプローチにより、エンタープライズグレードの運用機能を維持しながら、機密データと独自のモデルが組織の境界内にとどまることが保証されます。 オペレーションの一貫性 ^^^^^^^^^^^^^^^^^^^^^^ 標準化された展開パターンとガバナンスフレームワークにより、多様なモデルタイプとフレームワークの管理の複雑さが解消されます。チームは、基になるモデルアーキテクチャまたは意図されたユースケースに関係なく、統一された操作手順の恩恵を受けます。 スケーラブルなリソース管理 ^^^^^^^^^^^^^^^^^^^^^^^^^^ 複数のモデルにわたる効率的なGPUとコンピューティングリソースの割り当てにより、パフォーマンス保証を維持しながらインフラストラクチャコストが最適化されます。システムは、実際のワークロード要求に基づいた動的な割り当て戦略により、リソースの十分な使用率を防ぎます。 アーキテクチャの統合 -------------------- AI Factory Modelsは、ハイブリッドマネージャーと深く統合し、既存のKubernetesインフラストラクチャ内で包括的なモデルライフサイクル管理を提供します。このシステムは、ハイブリッドマネージャーのクラスターオーケストレーション機能を活用しながら、AI固有のガバナンスと展開機能で拡張しています。 ハイブリッドマネージャーの依存関係 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ **アセットライブラリーの統合** モデルイメージ、メタデータ、およびバージョン情報はハイブリッドマネージャーのアセットライブラリーを介して管理され、従来のコンテナイメージ管理を超えて拡張される一元的なストレージ機能とガバナンス機能を提供します。 **Kubernetesオーケストレーション** モデルサービングワークロードは、ハイブリッドマネージャーのクラスター管理機能を介してネイティブKubernetesリソースとして展開され、展開されたすべてのモデルにわたって一貫した操作動作とリソースの割り当てが保証されます。 **セキュリティフレームワーク** アクセス制御、ネットワークポリシー、および監査ログは、ハイブリッドマネージャーのセキュリティインフラストラクチャを活用しながら、モデル固有のガバナンス制御とコンプライアンス機能を追加します。 運用ワークフロー ---------------- モデルのライフサイクル管理 ^^^^^^^^^^^^^^^^^^^^^^^^^^ **取得と検証** モデルは、プライベートレジストリまたは手動登録プロセスからの自動同期を介してシステムに入力されます。各モデルは、運用使用が承認される前に、セキュリティスキャン、パフォーマンス検証、およびコンプライアンス検証を受けます。 **展開とスケーリング** 承認されたモデルは、需要パターンに基づいて自動的にスケーリングするInferenceServicesとして展開されます。システムは、分離とパフォーマンス保証を維持しながら、複数のモデルにわたってリソース割り当てを最適化します。 **モニタリングとメンテナンス** 包括的な可観測性により、モデルのパフォーマンス、リソースの使用率、および運用の状態に対する可視性が提供されます。自動化されたアラートと復旧手順により、詳細な監査証跡を維持しながら、サービスの中断を最小限に抑えます。 ガバナンスフレームワーク ^^^^^^^^^^^^^^^^^^^^^^^^ **承認ワークフロー** 構成可能な承認プロセスにより、運用展開前にモデルが組織基準を満たしていることを保証します。このシステムは、複雑なマルチステークホルダーのワークフローをサポートしながら、事前定義された基準を満たすモデルの日常的な承認を自動化します。 **ポリシーの適用** セキュリティポリシー、リソース制約、およびコンプライアンス要件は、すべてのモデル展開にわたって自動的に適用されます。これにより、手動介入なしで組織標準の一貫した適用が保証されます。 **監査とコンプライアンス** 詳細なログとレポート機能は、法的コンプライアンス要件をサポートしながら、モデルの使用パターンと運用アクティビティの包括的な可視性を提供します。 学習パスウェイ -------------- 基礎の理解 ^^^^^^^^^^ 実際の実装に進む前に、コアコンセプトから始めてアーキテクチャの理解を確立します。 **概念的なフレームワーク** 1. :ref:`Model Serving Concepts ` -推論展開パターンの理解 2. :ref:`Gen AI Architecture (Entities and Flows) ` - システムデザインとコンポーネントの関係 3. :ref:`Model Library Explained In Depth ` -ガバナンスとライフサイクル管理の原則 **システムデザイン** 1. :ref:`Deployment Overview ` - 本番展開のパターンと考慮事項 2. :ref:`Observability for Model Serving ` -モニタリングと操作の可視化 実際の実装 ^^^^^^^^^^ 概念的な理解が確立された後のハンズオン実装による進行状況。 **初期セットアップ** 1. :ref:`Quickstart — Use an Inference Endpoint with Python ` -基本的なクライアント統合 2. :ref:`How-To Setup GPU resources ` -モデルワークロードのインフラストラクチャの準備 3. :ref:`How-To Configure a ClusterServingRuntime ` -フレームワーク固有の展開設定 **モデルの展開** 1. :ref:`How-To Create an InferenceService for NVIDIA NIM Container ` -基本的なモデル展開手順 2. :ref:`How-To Deploy an NVIDIA NIM Microservices available on build.nvidia.comcontainer with KServe ` - 特殊な展開パターン 3. :ref:`Accessing KServe endpoints (internal and external) ` - 内部および外部接続 **高度な操作** 1. :ref:`How-To Integrate Private Registry with Model Library ` -カスタムモデルソース構成 2. :ref:`How-To Define Repository Rules for Model Library ` -自動モデル検出 3. :ref:`How-To Verify InferenceServices and GPU usage ` -展開の検証とトラブルシューティング 参考資料 ^^^^^^^^ **テクニカルリファレンス** - :ref:`Model Serving Reference Manual ` - 包括的な展開と構成のリファレンス - :ref:`Model Library Reference Manual ` - 完全なガバナンスフレームワークドキュメント - :ref:`Gen AI Builder FAQ ` - 一般的な問題と実装の考慮事項 **統合ガイド** - :ref:`AI Accelerator Pipelines ` - パイプラインモデルの統合 - :ref:`Knowledge Bases Reference Manual ` - サーブドモデルを使用したアプリケーション開発 - :ref:`Vector Engine (PGvector) ` - 埋め込みモデルの統合 ユースケースアプリケーション ---------------------------- Enterprise RAG Systems ^^^^^^^^^^^^^^^^^^^^^^ 開発環境と実稼働環境全体で一貫したモデルバージョンを必要とするセマンティック検索および取得拡張生成ワークフロー用の埋め込みモデルを展開します。 プライベートLLM展開 ^^^^^^^^^^^^^^^^^^^ エンタープライズレベルの運用機能を維持しながら、組織の境界内で機密データを処理する内部言語モデルサービスを実装します。 マルチモーダルAIアプリケーション ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ビジョン、言語、および埋め込みモデルを、さまざまなモデルタイプにわたって調整された推論機能を必要とする統合アプリケーションに統合します。 ハイブリッドモデルアーキテクチャ ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 機密操作用の独自モデルと一般的な機能用の外部サービスの両方を必要とするアプリケーション内でプライベートモデルサービスと外部モデルサービスを組み合わせます。 実装の考慮事項 -------------- インフラストラクチャ要件 ^^^^^^^^^^^^^^^^^^^^^^^^ モデルサービングには、大量のコンピューティングリソース、特に大規模な言語モデルとビジョンワークロード用のGPUインフラストラクチャが必要です。組織は、予想されるモデルサイズとスループット要件に基づいてキャパシティを計画する必要があります。 ネットワークアーキテクチャ ^^^^^^^^^^^^^^^^^^^^^^^^^^ ハイブリッドマネージャークラスターの接続は、モデルの展開とランタイムのアクセスパターンの両方に影響を与えます。モデルサービングアーキテクチャを設計するときは、ネットワーク遅延、帯域幅要件、およびセキュリティ境界を考慮します。 セキュリティフレームワーク ^^^^^^^^^^^^^^^^^^^^^^^^^^ モデルガバナンスは、従来のコンテナセキュリティを超えて、モデルの来歴、データプライバシー、推論監査証跡などのAI固有の懸念を含みます。組織のAIガバナンスポリシーに合わせて包括的なセキュリティ制御を実装します。 運用の複雑さ ^^^^^^^^^^^^ 異なるフレームワークでマルチプルのモデルを管理するには、かなりの運用の専門知識が必要です。運用ワークロードにスケーリングする前に、展開、モニタリング、およびトラブルシューティングの明確な手順を確立します。 -------------- AI Factory Modelsは、制御されたインフラストラクチャ環境内での包括的なモデルライフサイクル管理とスケーラブルな推論展開を介して、エンタープライズAIオペレーションの基盤を提供します。 .. toctree:: :maxdepth: 3 Usage--model--Getting_Started--index Usage--model--Manuals--index Usage--model--Explainers--index Usage--model--How_to_set_up_serving--index Usage--model--How_to_deploy_model--index Usage--model--How_to_integrate_with_your_app--index Usage--model--How_to_operate_and_observe--index