Model Library Explained In Depth ================================ **AI Factory** の **モデルライブラリー** は、EDB PG AI内のAIモデルを検出、管理、および展開するための中心的なインターフェイスです。 これは、ハイブリッドマネージャーHMのコア \**イメージとモデルライブラリー\* を利用しています。モデルライブラリーは、実稼働使用のために検証されたモデル画像の厳選されたAI中心のビューを提供します。 モデルライブラリーを介して展開されたモデルイメージは、次のようなAI Factory機能を強化します。 - **Gen AI Builder** アシスタントとパイプライン - **ナレッジベースパイプライン** 埋め込み、RAG - モデルサービスを使用する **その他のAI Factoryアプリケーション** ``---`` 始める前に ---------- モデルライブラリーを理解するための前提条件 - **Model Serving** およびKServeの概念に関する基本的な知識 - **InferenceService** とランタイムモデルの理解 - ハイブリッドマネージャーの **イメージとモデルライブラリー** アーキテクチャの認識 - 役立つ **ソブリンAI原則** の認識 推奨されるパス - :ref:`Fundamental AI Concepts ` - :ref:`Model Serving Concepts ` ``---`` モデルライブラリーとは何ですか？ -------------------------------- モデルライブラリー - より広範な画像とモデルライブラリーの **厳選されたAIビュー** を提示します - ユーザーは検証されたモデルイメージを **モデルサービングKServe** レイヤーに展開できます - AI Factoryエクスペリエンスを強化するモデルのライフサイクル管理を提供します **キーポイント** モデルライブラリーは別のレジストリではありません。これは、 **管理されたイメージとモデルライブラリー** 上の制御された *ビュー* です。 すべてのモデル画像 - コアアセットライブラリーパスを介したフロー - プラットフォーム全体の **ガバナンス** および **セキュリティポリシー** の対象となります - AI Factoryでの使用が検証された場合にのみモデルライブラリーで利用可能になります ``---`` それはどのように機能しますか？ ------------------------------ アーキテクチャフロー ^^^^^^^^^^^^^^^^^^^^ :: Container Registry → Image and Model Library → Model Library → Model Serving (KServe) → AI Factory Workloads .. csv-table:: :header: Layer,Role :widths: 10,30 :align: left :class: longtable Container Registry,"Stores model container images (e.g., NVIDIA NIM, open models)" Image and Model Library,Single source of truth for all container images Model Library,AI-focused console for validated model images Model Serving (KServe),Runs deployed model instances as InferenceServices AI Factory Workloads,"Gen AI Builder, Knowledge Base pipelines, Assistants, AI applications" ワークフロー ^^^^^^^^^^^^ 1. 画像は **アセットライブラリー** プライベートまたはパブリックレジストリに取り込まれます。 2. AIモデル提供について検証された画像は、 **モデルライブラリー** に表示されます。 3. ユーザーは、KServeを介してモデルを参照、選択、および **Model Serving** に展開します。 4. 展開モデルのパワー - **ナレッジベースの取り込みと取得** - **Gen AI Builderアシスタントとパイプライン** - **その他のAI Factory機能** ``---`` モデルライブラリーを使用する理由 -------------------------------- - **統合ガバナンス** — すべての画像は同じガバナンスプロセスを介してフローします。 - **セキュリティと監査可能** — レジストリ統合、タグ選択、およびイメージ監査が統合されています。 - **ソブリンAI** —どのモデルを使用するか、展開方法、および実行場所を制御します。 - **一貫性** — データベースとAIモデルは、同じコンテナイメージ管理システムを共有します。 - **柔軟性** アセットライブラリーパスを介して独自のモデル画像を追加し、AI Factoryでの可用性を制御できます。 ``---`` モデルライブラリーは何を提供しますか? ------------------------------------- ユーザーは次のことを行うことができます。 - 利用可能な **AIモデル画像** を参照します - サポートされている **タグとバージョン** を表示します - **Model Serving** インフラストラクチャにモデルを展開する - モデル展開のライフサイクルを管理する - **現在のAI Factoryワークロードを強化しているモデル** を理解します。 - **ナレッジベース** AIDBの取り込みと取得経由 - **Gen AI Builder** アシスタントとパイプライン用 ``---`` サポートされているモデルタイプ ------------------------------ .. csv-table:: :header: Model Type,Example Image :widths: 10,30 :align: left :class: longtable Text Completion,llama-3.3-nemotron-super-49b Text Embedding,arctic-embed-l Image Embedding,nvclip OCR,paddleocr Text Reranker,llama-3.2-nv-rerankqa-1b-v2 - 追加のモデルタイプのサポートが計画されていますビジョン、マルチモーダル、RAG最適化。 - **カスタムモデル** は、プライベートレジストリ統合を介して追加できます。 ``---`` 使用パターン ------------ ナレッジベース ^^^^^^^^^^^^^^ - **ナレッジベースのインデックス作成** および **RAG** パイプラインで使用される埋め込みモデルと取得モデル。 - 例 **arctic-embed-l** または **nvclip** モデルを使用します。 Gen AI Builderアシスタント ^^^^^^^^^^^^^^^^^^^^^^^^^^ - モデルライブラリーを介して展開されたモデルを使用したPower Assistant - テキスト生成用のLLMs 例 llama-3 - OCRまたはVisionモデルたとえば、paddleocr - Model Servingエンドポイントを使用したカスタムツール ハイブリッド+ソブリンAIの連携 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ - すべてのモデルは、ハイブリッドマネージャーKServeレイヤーを介して **インフラストラクチャ** で実行されます。 - あなたは以下をコントロールします - どのモデルが展開されているか - リソース割り当てCPU / GPU - デプロイメントトポロジ - 可観測性と監査 カスタムモデルの統合 ^^^^^^^^^^^^^^^^^^^^ - **Integrate Private Registry** フローを使用して、独自のレジストリからモデルを追加します。 - **リポジトリルール** を定義して、イメージの可用性を制御します。 - モデルライブラリーに表示される前に、画像がガバナンスチェックに合格することを確認します。 ``---`` ベストプラクティス ------------------ - モデルイメージに対する **明確なガバナンス** を維持します。 - **リポジトリルール** を使用して、可視性とコンプライアンスを管理します。 - ハイブリッドマネージャーダッシュボードで **モデルの使用率** とリソース消費を監視します。 - 実稼働で使用されるバージョンとドキュメントモデル。 - AI Factoryワークロードを有効にする前に、カスタムモデルを徹底的にテストします。 ``---`` モデルサービングの統合 ---------------------- モデルライブラリーから展開されたモデルは、 **Model Serving KServe** レイヤーで実行されます。 - Model ライブラリーコンソールで提供されるガイド付きワークフロー 1. モデル画像とタグを選択します。 2. ランタイムレプリカ、リソース、GPUなどを構成します。 3. Deploy → HM Kubernetes環境に **InferenceService** を作成します。 - 導入モデルのパワー - **AIDBナレッジベースの取り込み** - **Gen AI Builderアシスタントとパイプライン** - **その他のAI Factoryサービス** ``---`` 関連トピック ------------ - :ref:`Model Library Reference Manual ` - :ref:`How-To Deploy AI Models from Model Library ` - :ref:`How-To Integrate Private Registry with Model Library ` - :ref:`How-To Define Repository Rules for Model Library ` - :ref:`Model Serving Concepts ` - :ref:`Pipelines models reference ` ``---`` 次のステップ ------------ - **モデルライブラリー** で使用可能なモデルを参照することから始めます。 - **ナレッジベース** インジェストまたは **Gen AI Builder Assistants** 用の最初のモデルを展開します。 - **モデルサービングハウツーガイド** を参照して、展開を最適化します。 - モデルイメージフローのガバナンスとコンプライアンスポリシーを定義します。 ``---``