AI Factory（June 2025）

1. AI Factoryとは何か？
EDB AI Factoryは、EDB Postgresエコシステムに直接AI機能を統合するために設計された、スケーラブルでモジュール式のプラットフォームです。その核となるミッションはソブリンAI (Sovereign AI) を実現することです。これは、企業が自社のデータを使用し、自社のインフラストラクチャ内で、完全なガバナンスと統制の下でAI搭載のアプリケーションやデータ製品を構築、展開、管理するアプローチです。

機密性の高いデータを外部のサードパーティAIサービスに送信する代わりに、AI FactoryはAIワークロードをデータの側で実行します。ベクトル検索、自動データパイプライン、モデルサービング、生成AIアプリケーションビルダーをデータベースと直接統合することで、Postgresを「AI時代」の第一級のプラットフォームへと拡張します。

プラットフォームの主要なコンポーネントは以下の通りです。

Gen AI Builder: 対話型AIエージェントやアシスタントを作成・管理するためのアプリケーション層。
AI Factory Pipelines: データ準備、変換、およびAI用のデータの数値表現であるベクトル埋め込みを生成するための自動化エンジン。
AI Factory Models: 企業が管理するKubernetesクラスタ上でAIモデル（LLMなど）を管理、展開、提供するためのシステム。
Vector Engine (PGvector): Postgres内でベクトル埋め込みを保存・クエリするための基盤機能であり、セマンティック検索を可能にします。

2. 仕組み
AI Factoryは、生データから対話型AIエージェントに至るまで、AIアプリケーションのエンドツーエンドのライフサイクルを管理する統合スタックとして機能します。プロセスは一般的に以下のステップで進行します。

データの取り込みと準備 (Pipelines):
データは、Postgresテーブル、クラウドストレージ（S3、GCS）内のドキュメント、Webページなど、さまざまなソースから取り込まれます。AI Factory Pipelinesがこの生データの変換を自動化します。これには、クリーニング、解析、およびチャンキング（大きなドキュメントを意味のある小さな塊に分割すること）が含まれます。
埋め込みとインデックス作成 (Pipelines & Vector Engine):
準備されたデータは、埋め込みモデル（例: arctic-embed-l）を通して、テキストや画像データを数値ベクトルに変換します。これらのベクトルは、pgvector拡張機能を利用したVector Engineを使用してPostgres内に直接保存され、インデックスが作成されます。これによりナレッジベースが構築されます。
モデル管理とサービング (Model Library & KServe):
AIモデル（埋め込み、テキスト生成用など）はモデルライブラリで管理されます。これにより、利用が検証されたモデルを管理・統制された形で提供します。これらのモデルは、オープンソースのモデルサービングエンジンであるKServeを使用して、自社のKubernetesクラスタ上でスケーラブルな推論サービスとして展開されます。これにより、GPUアクセラレーションによる高性能と高可用性が実現します。
アプリケーション構築とオーケストレーション (Gen AI Builder):
ユーザー向けのアプリケーションはここで構築されます。アシスタント（AIエージェント）はAgent Studioで作成されます。アシスタントは以下の要素で構成されます。
- 言語理解と生成のためのLLM（例: llama-3）。
- 関連性の高い信頼できる情報を検索するためのナレッジベース（これがRAGパターンです）。
- 行動、トーン、コンプライアンスポリシーへの準拠を制御するためのルールセット。
- 外部APIの呼び出しやカスタムビジネスロジックの実行などのアクションを実行するためのツール。
ランタイムでの対話:
ユーザーがクエリを送信すると、アシスタントはリトリーバーを使用してナレッジベースに対してベクトル検索を実行します。検索された関連データは、ユーザーのクエリや行動に関するルールセットと組み合わされます。この結合されたコンテキストがLLMに送信され、LLMは信頼できる情報に基づいた正確でコンプライアンスに準拠した応答を生成します。すべての対話は、監査可能性と分析のためにスレッドに記録されます。

3. AI Factoryの利点とメリット
AI Factoryの最大の利点は、信頼性が高く、エンタープライズグレードで、完全に管理されたAI環境を提供することです。

ソブリンAIとデータガバナンス: これが最も重要な利点です。すべてのデータ、埋め込み、モデルは、企業の管理領域（自社のPostgresデータベースとKubernetesクラスタ）内に留まります。これにより、サードパーティAPIへのデータ漏洩リスクを排除し、GDPRなどの規制へのコンプライアンスを確保し、知的財産を完全に保護します。
AIをデータの側で実行: 大量のデータセットを外部のAIサービスに移動させるのではなく、AI Factoryはデータの発生源であるPostgresデータベースにコンピューティングをもたらします。これにより、アーキテクチャの複雑さが軽減され、データレイテンシが最小化され、既存のデータベースインフラとセキュリティを活用できます。
統一された統合スタック: データパイプラインやベクトルストレージから、モデルサービング、アプリケーション構築まで、AIライフサイクル全体を単一の統合プラットフォームで提供します。これにより、ベクトルDB、モデルサービング、アプリケーションフレームワークを個別に組み合わせる場合と比較して、開発と運用が簡素化されます。
本番環境レベルのスケーラビリティ: Kubernetes、モデルサービング用のKServe、GPUアクセラレーションなどのエンタープライズグレードのコンポーネントを使用することで、プロトタイプだけでなく、スケーラブルで高性能な本番ワークロード向けに構築されています。
完全な監査可能性と可観測性: すべてのコンポーネントがガバナンスを念頭に設計されています。モデルのバージョンは追跡され、データパイプラインは透明性があり、アシスタントのすべての対話は「スレッド」に記録されるため、コンプライアンスとデバッグのための完全な監査証跡が提供されます。
柔軟性とオープン標準: プラットフォームはpgvectorやKServeなどのオープン標準に基づいて構築されており、ベンダーロックインを防ぎます。オープンソース、商用、またはカスタムビルドのモデルを統合できるため、業務に最適なツールを柔軟に利用できます。

4. 考えられるユースケース
AI Factoryは、多くの業界や機能に適用できる汎用性の高いプラットフォームです。ドキュメントでは、いくつかの主要なパターンが紹介されています。

対話型アシスタントとチャットボット:
- 顧客サポートチャットボット: 金融サービスや小売業向けに、社内の製品ドキュメントやFAQに基づいて顧客の質問に回答する自動エージェントを構築し、ブランドイメージに沿ったコンプライアンス準拠の対応を保証します。
- 社内ナレッジアシスタント: 従業員が社内のナレッジベース、技術マニュアル、企業ポリシーなどを自然言語で照会できるコパイロットを作成します。
- 市民向けサポートポータル: 公共部門向けに、市民がサービスを調べたり情報を見つけたりするのを支援する、監査可能で透明性の高いAIを提供します。
ドキュメントインテリジェンスと処理:
大量のドキュメント処理（金融のKYC、医療の治験文書など）を自動化します。パイプラインはOCRを実行し、重要情報を抽出し、コンテンツを要約して、構造化された結果をPostgresに保存できます。
セマンティック検索とレコメンデーション:
- セマンティック製品検索: キーワードだけでなくユーザーの意図を理解するeコマースの検索エンジンを強化し、より関連性の高い製品発見を実現します。
- レコメンデーションシステム: コンテンツ、製品、ドキュメントの意味的な類似性に基づいて、パーソナライズされたユーザー体験を提供します。
AIを活用した自動化とETL:
管理された環境からデータを出さずに、AIモデルが取引を分類したり、データをクレンジングしたり、レコードを拡充したりする自動ETL（抽出、変換、ロード）パイプラインを構築します。在庫の取得、送料の計算、CRMシステムの更新といった複数のステップからなるビジネスワークフローを実行できるツールを備えたAIエージェントを作成します。