Agent Factory Architecture on Hybrid Manager#
アーキテクチャの概要#
Agent Factoryは、Hybrid ManagerのKubernetesインフラストラクチャ内のコンテナ化されたサービスのコレクションとして展開し、統合された model governance 、 inference serving 、およびLangflowベースのAIフロー開発を介してソブリンAI機能を提供します。このアーキテクチャは、ローカルGPUリソースとオブジェクトストレージを活用して、顧客制御のKubernetesクラスター内ですべてのAIワークロードを処理することにより、完全なデータ主権を保証します。
システムは、ガバナンスとオーケストレーションのためのコントロールプレーン、モデルサービングとフロー実行のランタイムレイヤー、モデルアーティファクトと ナレッジベースと検索 のストレージレイヤーの3つのアーキテクチャレイヤーで動作します。これらのレイヤーは、Kubernetes APIとカスタムリソースを介して統合され、プロジェクトとワークロード間の分離を維持しながら統合管理を提供します。
コアコンポーネント#
モデルライブラリー#
ステップ2モデルライブラリーにアクセスする は、プラットフォーム全体でモデルのライフサイクルとガバナンスを管理するコントロールプレーンサービスとして動作します。このサービスは、承認されたモデルの集中レジストリを維持し、モデルが運用環境に到達する前にセキュリティとコンプライアンスポリシーを適用します。
ライブラリは、いくつかの相互接続されたサービスで構成されています。
外部コンテナレジストリを監視するレジストリ同期サービス
組織ガバナンスルールに対してモデルを評価するポリシーエンジン
モデルバージョン、パフォーマンスベンチマーク、および承認を追跡するメタデータサービス
オブジェクトストレージバックエンドでモデルアーティファクトを管理するストレージインターフェイス
モデルのメタデータは、ハイブリッドマネージャーによって管理されるPostgreSQLデータベースに持続し、他のプラットフォームデータとの一貫性を保証します。このライブラリは、Kubernetesカスタムリソースを介してモデルをプロジェクト名前空間に公開し、一元的なガバナンスを維持しながら宣言的モデルの展開を可能にします。 Model Library explained も参照してください。
推論サーバーインフラストラクチャ#
推論サーバーは、プロジェクト名前空間内のKServe InferenceServices として展開され、特殊なコンテナポッドを介してスケーラブルな モデルサービング を提供します。これらのポッドは、さまざまなフレームワークとハードウェア構成に最適化されたモデルランタイムエンジンをカプセル化します。
推論ポッド構成には次のものが含まれます。
モデルランタイムコンテナ
GPU割り当て、メモリ制限、およびCPU要件を定義するリソース仕様 Setup GPU および Update GPU resources を参照してください。
モデルストレージと構成データに接続するボリュームマウント
エンドポイント構成とランタイムパラメーターを含む環境変数
livenessおよびreadnessプローブのヘルスチェック定義
自動スケーリング構成は、要求レイテンシー、GPU使用率、キューの深さなどのメトリックに応答し、パフォーマンス目標を満たしながら最適なリソース使用率を保証します。デプロイメントオプションについては、 モデルの展開 および Configure ServingRuntime を参照してください。
Langflowランタイム#
Langflow FAQ は、ハイブリッドマネージャーの管理ワークロードとして実行され、フローを呼び出し可能サービスに変換するためのビジュアルフロービルダーと展開ライフサイクルを提供します。ランタイムはコンテナ化され、展開されたフローは分離されたKubernetes名前空間でホストされます。
HM内のLangflowアーキテクチャには以下が含まれます。
フローがビルドおよびテストされる共有Langflowエディタ環境
公開されたフローを長時間実行サービスとしてホストする展開ごとのランタイムコンテナ
HM管理リソースにフローを接続するEDBコンポーネント EDB Model Server、EDB Embeddings、EDB Knowledge Baseなど
Kubernetesシークレットとして管理され、各展開の名前空間にスコープされる状態と資格情報
フローはクラスターローカルサービスDNSを介してモデルエンドポイントにアクセスし、Langflowランタイム、モデルサーバーポッド、およびPostgresクラスター間のすべてのトラフィックはプロジェクト名前空間内に残ります。完全なコンポーネントとデプロイメントリファレンスについては、 Langflow FAQ を参照してください。
ストレージ#
Agent Factoryは、モデルアーティファクト、データセット、ナレッジベースにオブジェクトストレージを使用し、プライマリストレージバックエンドとしてMinIOまたはクラウドプロバイダーサービスS3、Azure Blob、GCSを使用します。これにより、コンピューティングがストレージから分離され、独立したスケーリングとコストの最適化が可能になります。
ストレージアクセスは、サービスアカウントの資格情報またはクラウドプロバイダーのIDメカニズムを介した認証を備えた標準化されたS3 APIを介して発生します。永続的なボリューム要求は、頻繁にアクセスされるモデルのローカルキャッシュを提供し、ネットワークオーバーヘッドを削減し、推論レイテンシーを改善します。
インフラストラクチャ#
Agent Factoryは、標準のKubernetesプリミティブGPUデバイスプラグイン、KServe、オブジェクトストレージ、およびサービスメッシュで実行されます。 GPUセットアップ、ネットワークポリシー、HA構成、およびモニタリングの詳細については、ハブリファレンスを参照してください。