Frequently Asked Questions - Agent Factory on Hybrid Manager

目次

Frequently Asked Questions - Agent Factory on Hybrid Manager#

目次#

プラットフォーム機能#

ハイブリッドマネージャーはどのようなタイプのモデルをサポートしていますか?#

ハイブリッドマネージャーは、NVIDIA NIMコンテナを介してのみ大規模言語モデルLLM展開をサポートします。従来の機械学習モデル分類、回帰、時系列予測は、このリリースではサポートされていません。

サポートされているNVIDIA NIMモデルカテゴリ

  • テキスト生成 チャットおよび完了タスク用の大規模な言語モデル

  • テキスト埋め込み セマンティック検索およびRAGアプリケーションのモデル

  • Text Reranking 検索結果最適化のモデル

  • マルチモーダルモデル CLIPおよびOCR機能を含むビジョンモデル

カスタムモデルを展開できますか?#

カスタムモデルは、ハイブリッドマネージャーと互換性を保つためにNVIDIA NIMコンテナとしてパッケージ化する必要があります。標準の機械学習フレームワークscikit-learn、XGBoost、従来のMLのTensorFlowはサポートされていません。カスタムLLMは、NIMコンテナ仕様とAPI標準に準拠している場合に、展開できます。

カスタムNIM展開手順については、 Private Registry Integration を参照してください。

Agent FactoryとクラウドAIサービスの違いは何ですか?#

Agent Factoryは、AI操作に対する完全な主権を提供します。

  • モデルはKubernetesインフラストラクチャ内で実行されます

  • データは組織の境界内に残ります

  • 推論のための外部API依存関係はありません

  • 規制コンプライアンスのための完全な監査証跡

インストールとセットアップ#

インフラストラクチャの最小要件は何ですか?#

コア要件

  • NVIDIA GPUオペレーターを使用したKubernetes 1.27+

  • NIMコンテナL40S、A100、H100と互換性のあるNVIDIA GPU

  • モデルアーティファクト用の100GB以上のオブジェクトストレージ

  • NVIDIA NGCレジストリまたはエアギャップ構成へのネットワーク接続

NIMモデルタイプ別のGPU要件

  • テキスト補完Nemotron Super 49B 4 x L40S GPU

  • テキスト埋め込み 1 x L40S GPU

  • テキストのリランキング 1 x L40S GPU

  • ビジョンモデル 1 x L40S GPU

包括的な仕様については、 Prerequisites for Agent Factory on Hybrid Manager を参照してください。

NIMモデルのGPUノードを構成するにはどうすればよいですか?#

GPUノードの準備には以下が含まれます。

  1. クラスターにNVIDIA GPUオペレーターをインストールする

  2. nvidia.com/gpu=true でGPUノードにラベルを付ける

  3. 専用のスケジューリングにGPUテイントを適用する

  4. NIM要件のCUDA互換性を確認する

GPU Setup Documentation で利用可能な詳細な手順。

Agent Factoryはエアギャップ環境で動作できますか?#

エアギャップ展開には事前の準備が必要です。

  1. NVIDIA NIMイメージをプライベートレジストリにミラーリングする

  2. モデルプロファイルのダウンロードとキャッシュ

  3. プロファイルをオブジェクトストレージにアップロードする

  4. プライベートレジストリアクセス用にモデルライブラリーを構成する

エアギャップ展開 に文書化されている手順を完了します。

モデル管理#

NVIDIA NIMモデルを展開するにはどうすればよいですか?#

NIMモデル展開ワークフロー

  1. HMコンソールでモデルライブラリーにアクセスします

  2. カタログからNVIDIA NIMモデルを選択します

  3. リソースの構成GPU割り当て、メモリ、レプリカ

  4. InferenceServiceをプロジェクト名前空間に展開する

  5. 生成されたエンドポイントを介したアクセス

ステップバイステップガイド Create InferenceService 。

デフォルトで使用可能なNVIDIA NIMモデルはどれですか?#

デフォルトのNIMモデル

  • llama-3.3-nemotron-super-49b-v1 高度な推論とチャット

  • llama-3.2-nemoretriever-300m-embed-v1 テキスト埋め込み

  • llama-3.2-nv-rerankqa-1b-v2 クエリドキュメントのリランキング

  • nvclip マルチモーダル埋め込み

  • paddleocr 光学式文字認識

NIMモデルバージョンを管理するにはどうすればよいですか?#

バージョン管理戦略

  • モデルライブラリーは、各NIMイメージのバージョンタグを維持します

  • ブルーグリーン展開により、ゼロダウンタイムの更新が可能

  • カナリア展開により、段階的なトラフィックのシフトが可能

  • InferenceService構成の更新を介したロールバック

Langflow#

Langflowは、ハイブリッドマネージャーのAIフロービルダーであり、以前のGriptapeベースのGen AI Builderを置き換えます。 HM管理モデル、ナレッジベース、Postgresクラスターに直接接続するEDBコンポーネントを使用して、AIパイプラインとフローを構築します。

Langflow固有の質問コンポーネント、グローバル変数、ナレッジベース、モデルの使用状況、フロープロモーション、および一般的なエラーについては、 Langflow FAQ を参照してください。

運用とメンテナンス#

NIMモデルのパフォーマンスをモニタするにはどうすればよいですか?#

モニタリングには以下が含まれます。

メトリックコレクション

  • 推論レイテンシーのPrometheusメトリック

  • GPU使用率とメモリ消費量

  • トークン生成のスループット

  • 要求の成功率

ビジュアライゼーション

  • HMコンソールに統合されたGrafanaダッシュボード

  • モデル固有のメトリックのカスタムパネル

  • SLA違反のアラート構成

参照 Observability (Agent Factory on HM) 。

NIMモデルの更新はどのように処理すればよいですか?#

運用展開の更新手順

  1. 検証 開発名前空間に新しいバージョンを展開します

  2. テスト パフォーマンステストと精度テストを実行します

  3. 展開 カナリアまたはブルーグリーン戦略を実装します

  4. モニタリング 移行中のメトリックの追跡

  5. 決定 メトリックに基づいて完全なロールアウトまたはロールバック

障害対応#

NIMモデルの起動に失敗します-診断手順は?#

一般的な初期化障害

  1. GPUの使用不可 GPUリソースがモデル要件と一致することを確認します。

  2. イメージのプルの失敗 NGC資格情報とネットワーク接続を確認します

  3. プロファイルキャッシュがありません エアギャップセットアップでプロファイルを利用できることを確認

  4. メモリ不足 モデルサイズのメモリ割り当てを検証する

診断コマンド

kubectl describe inferenceservice <name> -n <namespace>
kubectl logs <pod-name> -n <namespace>
kubectl get events -n <namespace>

高い推論レイテンシー - 最適化戦略?#

パフォーマンス最適化のアプローチ

  • バッチ処理 スループットを最適化するためにバッチサイズを増加します

  • モデル量子化 サポートされている場合はINT8量子化を使用します

  • 応答キャッシュ 頻繁なクエリーをアプリケーションレイヤーでキャッシュします

  • ホリゾンタル スケーリング 負荷分散のために追加のレプリカを展開します

RAGアプリケーションの取得品質は低いですか?#

正しい埋め込みモデルが使用されていること、チャンクサイズがコンテンツに適切であること、およびすべてのドキュメントがインデックス化されていることを確認します。 AIDBナレッジベース診断を含むLangflow固有のガイダンスについては、 RAGフローでの取得品質を向上させるにはどうすればよいですか? を参照してください。

セキュリティとコンプライアンス#

アクセス制御はどのように実装すればよいですか?#

AIリソースのロールベースのアクセス制御には、次のものが含まれます。

  • 名前空間とリソース権限のためのKubernetes RBAC

  • 展開承認のためのモデルライブラリーのアクセス制御

  • 外部エンドポイントアクセスのAPIキー管理

  • サービス間通信のネットワークポリシー

どのような暗号化が実装されていますか?#

暗号化カバレッジ

  • 保存時 Kubernetesシークレット暗号化、データベース暗号化

  • 転送中 API呼び出しのTLS、サービスメッシュ内のmTLS

  • モデルアーティファクト 暗号化されたオブジェクトストレージ

  • ナレッジベース PostgreSQLの暗号化されたベクターストレージ

どの操作が監査されますか?#

監査ログキャプチャ

  • NIMモデルの展開と構成の変更

  • 推論要求設定可能な詳細レベル

  • ナレッジベースのクエリと更新

  • AIリソースの管理操作

パフォーマンスとスケーリング#

リソースクォータはどのように構成すればよいですか?#

リソースクォータは、名前空間レベルでのリソースの枯渇を防ぎます。プロジェクト要件と利用可能なインフラストラクチャ容量に基づいて、GPUクォータ、メモリ制限、およびストレージ制約を構成します。

垂直方向と水平方向のどちらの場合にスケーリングする必要がありますか?#

ホリゾンタル スケーリング 追加のレプリカ

  • 高い同時要求量

  • ステートレス推論ワークロード

  • 負荷分散の要件

垂直スケーリング インスタンスごとのリソースの増加

  • 大規模なモデルのメモリ要件

  • バッチ処理の最適化

  • 単一要求のレイテンシーの最小化

ハイブリッドマネージャーはどのようなモデルサイズをサポートできますか?#

モデルサイズのコンストレイン

  • シングルGPU 最大13Bパラメーターのモデル

  • マルチGPU テンソル並列処理を使用して最大70B+パラメーターをモデル化

  • メモリ制限 GPUごとに80GB A100、48GB L40S

NVIDIA NIMは、利用可能なリソースに基づいて、モデルのシャーディングと並列処理を自動的に処理します。

追加リソース#

はじめに

実装ガイド

トラブルシューティングリソース

ここで対処されていない問題については、EDBサポートに連絡するか、 Troubleshooting Langflow in Hybrid Manager を参照してください。

目次