Agent Factory in Hybrid Manager

Agent Factory in Hybrid Manager#

Hybrid Managerの エージェントファクトリーワークロード は、スケーラブルなAIおよび機械学習機能をHybrid Managerプラットフォームにもたらします。 Postgres、ベクトル検索、モデルサービング、AIパイプラインにわたって緊密に統合されているため、ハイブリッドマネージャーが管理するクラスターとデータ全体でAIを運用できます。

ハイブリッドマネージャーのAgent Factoryを使用すると、次のことができます。

  • 内部または外部向けにLangflowを使用してAIフローとエージェントを構築します。

  • 統合されたKServeベースの推論とGPUアクセラレーションを使用して、AIモデルを大規模に提供します。

  • ナレッジベースを作成し、ベクトル検索を使用して検索拡張生成RAGを実行します。

  • モデルライブラリを管理し、ハイブリッドマネージャーガバナンスの下で信頼できるモデルを展開します。

  • AI機能をアプリケーションとデータパイプラインに直接統合します。

構築できるAIソリューションの例#

ハイブリッドマネージャーのエージェントファクトリーは、多くのドメインにわたってソリューションを有効にします。

  • エンタープライズ検索およびナレッジアシスタント 企業文書、データベース、イントラネットコンテンツと統合するRAGベースのアシスタントを構築します。

  • カスタマーサポートチャットボット 独自のデータとドメイン固有のモデルを活用したアシスタントを展開し、会話型AIとナレッジベースを組み合わせます。

  • AI駆動型データアプリ アプリのAI搭載エンドポイント - セマンティック検索、レコメンデーション、類似性検索、または自然言語クエリーを公開します。

  • 内部ツールのためのオペレーショナルAI DevOps、カスタマーサクセス、HRオートメーション、セールスイネーブルメントなどを支援するAIエージェントとツールを構築します。

  • ドメイン固有のモデル提供 独自のまたは微調整されたモデルLLM、埋め込みモデル、ランキングモデルを、ハイブリッドマネージャークラスター内のスケーラブルな推論サービスとして提供します。

単一のアシスタントまたはモデルエンドポイントで小規模にスタートし、Agent Factoryアーキテクチャを使用して完全なAI搭載アプリケーションにスケーリングできます。

ハイブリッドマネージャーワークロードの## Agent Factory

ハイブリッドマネージャーは、エージェントファクトリーの機能のフルセットをサポートし、コントロールプレーンに緊密に統合されています。

AIフローの構築#

  • Langflow FAQ — HM管理モデル、ナレッジベース、Postgresクラスターに接続されたEDBコンポーネントを使用して、AIパイプラインとフローを構築および展開する

  • Pipeline Designer concepts — ノーコードのビジュアルインターフェイスを介してAIDBデータパイプラインとナレッジベースを作成する

モデルの管理と提供#

Agent Factoryがハイブリッドマネージャーにどのように適合するか#

Hybrid Managerは、データベース、分析、AIワークロードのコントロールプレーンです。 Agent Factoryは、他のHM機能を補完します。

  • データベース Postgresクラスターをプロビジョニングおよび管理します。 Agent Factoryは、ベクター検索、RAG、およびアプリケーションエンドポイントのためにこれらに接続します。

  • 分析 データをIceberg/Deltaにオフロードし、 SQL経由でクエリします。 Agent FactoryのパイプラインとVector Engineは、取得のためにこれらのデータセットと統合します。

  • オペレーション HMの可観測性とガバナンスを使用して、データベースと分析とともにAIフロー、パイプライン、およびモデル提供をモニタします。

HMのエージェントファクトリーの前提条件

  • Agent Factoryが有効になり、Langflow、Pipeline Designer、およびModel Servingの資格が必要なハイブリッドマネージャープロジェクト。

  • 提供に必要なGPUリソースへのアクセス。 GPU resource management を参照してください。

ハイブリッドマネージャーのソブリンAI#

ハイブリッドマネージャーのエージェントファクトリーは、データと同じ場所でAIワークロードを実行します。

  • ご使用の環境 モデル提供、パイプライン、およびベクター検索は、Hybrid ManagerプロジェクトおよびKubernetesクラスター内で直接実行されます。

  • あなたのデータ。 ソースドキュメント、埋め込み、および推論結果は、明示的に構成しない限り、環境を離れることはありません。

  • あなたのモデル。 モデルイメージはモデルライブラリーでキュレートされ、クラスター内のエンドポイントから提供されます。

  • あなたの可視性。 モデルログとAIワークロードメトリックは、Postgresと分析に使用するのと同じプラットフォームを介して観察できます。

これは、プロンプト、ドキュメント、および埋め込みがネットワークを離れ、サードパーティ環境で処理される外部AIサービスとは異なります。ハイブリッドマネージャーを使用すると、すべての取得、生成、およびストレージがプロジェクトとインフラストラクチャ内で発生します。

高セキュリティの展開の場合、ハイブリッドマネージャーは完全にエアギャップで動作できます。モデルイメージはプリロードされ、すべてのワークロードは完全に制御されたクラスター内にあります。エアギャップセットアップについては、 前提条件 を参照してください。

はじめる#

目次