Gen AI Builder ============== .. _gen-ai-builder-1: Gen AI Builder ============== Gen AI Builderは、 :ref:`retrieval‑augmented generation ` パターンを介して組織の知識を活用するインテリジェントアプリケーションを開発するための包括的なツールを提供します。プラットフォームは、制御されたインフラストラクチャ環境内で動作し、データ、モデル、推論操作に対する完全な組織の主権を保証します。 ここは新しいですか？ :ref:`Gen AI Builder Hub ` で始めて、 :ref:`Gen AI Builder Concepts (Assistants, Knowledge, Tools, Threads) ` および :ref:`Gen AI Architecture (Entities and Flows) ` を確認してから、 :ref:`Gen AI How-To Guides ` を使用するか、 :ref:`Customer Service Assistant Implementation Guide ` にジャンプします。 プラットフォームアーキテクチャ ------------------------------ Gen AI Builderは、複数のコンポーネントを統合して、 EDB Postgres AIエコシステム内でエンドツーエンドのAIアプリケーション開発機能を提供します。このプラットフォームは、エンタープライズレベルのガバナンスと監査可能性を提供しながら、組織の境界内ですべての操作を維持することにより、データ主権を強調します。 :ref:`Assistants Reference Manual ` 、 :ref:`Knowledge Bases Reference Manual ` 、 :ref:`Retrievers Reference Manual ` 、 :ref:`Rulesets Manual ` 、 :ref:`Structures Reference Manual ` 、 :ref:`Tools Reference Manual ` 、 :ref:`Threads Reference Manual ` 、 :ref:`Configure Data Sources in Gen AI Builder ` 、 :ref:`Data Lake Reference Manual ` 、およびedb_16lk_asis_16lk_asis_13 、 :ref:`Data Lake Reference Manual ` 、およびedb_16lk_asis_13 を参照します。 コアインフラストラクチャの統合 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ **Hybrid Manager Foundation** Gen AI Builderは、 :ref:`EDB’s vision for AI with Postgres and Hybrid Manager ` のKubernetesオーケストレーションレイヤー内で動作し、一元的なガバナンスを維持しながら分散コンピューティング機能を活用します。このアーキテクチャにより、開発環境と実稼働環境全体で一貫した操作手順が保証されます。 **データエステートの統合** :ref:`Knowledge Bases Reference Manual ` は、組織インフラストラクチャ内のPostgresデータベースとオブジェクトストレージシステム :ref:`Data Lake Reference Manual ` を参照してください。多様な :ref:`Configure Data Sources in Gen AI Builder ` タイプをサポートしながら、外部データの依存関係を排除します。 **モデルサービング統合** アプリケーションは、 :ref:`AI Factory Models ` インフラストラクチャを介して言語モデルと埋め込みモデルにアクセスし、すべてのAI機能にわたって一貫したガバナンスポリシーを保証します。 アーキテクチャコンポーネント ---------------------------- ナレッジベースフレームワーク ^^^^^^^^^^^^^^^^^^^^^^^^^^^^ :ref:`Knowledge Bases Reference Manual ` は、構造化データベースコンテンツと非構造化ドキュメントリポジトリを組み合わせることにより、検索拡張生成アプリケーションの基盤として機能します。フレームワークは、完全なデータリネージを維持しながら、ベクター埋め込みを介してセマンティック検索機能を提供します :ref:`Vector Engine (PGvector) ` を参照してください。 **データソースの統合** - セマンティックインデックスを使用したPostgresデータベーステーブル - オブジェクトストレージシステムからのドキュメントリポジトリ - API統合を介したリアルタイムデータフィード - 制御されたスクレイピング操作を介したWebコンテンツ **エンベディング管理** - 機密コンテンツ処理のためのプライベート埋め込みモデル - Postgresインフラストラクチャ内のベクターストレージの最適化 - 取得精度のための意味的類似性アルゴリズム - ベクトルとキーワードのアプローチを組み合わせたハイブリッド検索 検索システム ^^^^^^^^^^^^ :ref:`Retrievers Reference Manual ` コンポーネントは、多様なデータソースにわたって検索操作をオーケストレーションし、ソースの帰属とアクセス制御を維持しながら、ナレッジ発見のための統一インターフェイスを提供します。 **取得戦略** - セマンティックコンテンツマッチングのベクトル類似性検索 - キーワードベースの検索による正確な用語の特定 - 複数の検索方法を組み合わせたハイブリッドアプローチ - ユーザー権限とデータ分類に基づいたコンテキスト依存フィルタリング アシスタントフレームワーク ^^^^^^^^^^^^^^^^^^^^^^^^^^ インテリジェントな :ref:`Assistants Reference Manual ` は、ナレッジの取得と言語モデル機能を組み合わせて、組織のナレッジに会話型インターフェイスを提供します。このフレームワークは、すべてのインタラクションの監査証跡を維持しながら、複雑な推論ワークフローをサポートします :ref:`Threads Reference Manual ` を参照してください。 **アシスタント機能** - コンテキスト保存を備えたマルチターン会話インターフェイス - 外部システム相互作用のための :ref:`Tools Reference Manual ` 統合 - 複雑なクエリ解決のための推論ワークフロー - コンプライアンスと運用の透明性のための監査ログ 実装パターン ------------ エンタープライズナレッジシステム ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 組織は、セマンティック検索機能を介して構造化および非構造化情報ソースを統合する包括的なナレッジマネージメントシステムを実装します。 **一般的なアーキテクチャ** 1. **データ統合レイヤー** データベース、ドキュメントリポジトリ、ナレッジマネージメントシステムを含む複数の組織の :ref:`Configure Data Sources in Gen AI Builder ` を接続します 2. **処理パイプライン** 適切なメタデータとアクセス制御注釈を使用してコンテンツを検索可能な形式に変換します 3. **取得インターフェイス** 関連性ランキングとソース帰属を使用して、すべての統合コンテンツの統合検索を提供します 4. **アプリケーションレイヤー** 会話型インターフェイスとAPI統合を介してナレッジアクセスを提供します **実装に関する考慮事項** - コンテンツ分類とアクセス制御のためのデータガバナンスポリシー - 大規模なドキュメントコレクションのパフォーマンスの最適化 - 既存の認証および承認システムとの統合 - 監査証跡とデータリネージのコンプライアンス要件 検索拡張生成アプリケーション ^^^^^^^^^^^^^^^^^^^^^^^^^^^^ アプリケーションは、取得機能と言語モデルの推論を組み合わせて、組織の知識に基づいて状況認識的な応答を提供します。 **開発ワークフロー** 1. **ナレッジベースの構築** セマンティック埋め込みを使用した包括的なドキュメントインデックスを確立します :ref:`Create a Knowledge Base in Gen AI Builder ` および :ref:`Manage Knowledge Bases in Gen AI Builder ` を参照してください。 2. **取得構成** アプリケーション要件に最適化された検索戦略を実装します。 3. **生成統合** 取得したコンテキストに基づいて、応答生成のための言語モデルを接続します 4. **レスポンスオーケストレーション** 適切なキャッシュと最適化を使用して取得と生成ワークフローを調整します **技術要件** - インタラクティブアプリケーションの低レイテンシーの取得 - 大規模なドキュメント処理のためのコンテキストウィンドウ管理 - 応答品質評価と改善のワークフロー - ナレッジベースの更新全体での統合テスト 会話型AIプラットフォーム ^^^^^^^^^^^^^^^^^^^^^^^^ インタラクティブアプリケーションは、複雑な組織ワークフローと情報検出のための自然言語インターフェイスを提供します。 **プラットフォームコンポーネント** - テキスト、音声、ドキュメントのインタラクションのマルチモーダル入力処理 - 長時間の会話セッションのコンテキスト管理 - 外部システム操作のためのツール統合 - ユーザーのロールと設定に基づいた応答のパーソナライゼーション **操作機能** - 会話状態の永続性を使用したセッション管理 - 応答品質と遅延のパフォーマンスモニタリング - アプリケーションの最適化とキャパシティプランニングのための使用分析 - 機密情報の取り扱いのセキュリティ制御 開発フレームワーク ------------------ ナレッジベース開発 ^^^^^^^^^^^^^^^^^^ ナレッジベースの作成には、データソースの統合、コンテンツ処理、および効率的な取得操作をサポートするセマンティックインデックス作成が含まれます。 **開発プロセス** 1. **ソース評価** コンテンツの品質、更新頻度、およびアクセス要件について :ref:`Configure Data Sources in Gen AI Builder ` を評価します 2. **処理パイプラインデザイン** クリーニング、チャンク、メタデータ抽出を含むコンテンツ変換ワークフローを構成します :ref:`Configure the Data Lake in Gen AI Builder ` を参照してください 3. **インデックス戦略** エンベディング生成とベクターストレージの最適化を実装する 4. **取得テスト** 体系的な評価手順を介して検索品質を検証する **品質保証** - 体系的なサンプリングによるコンテンツの精度検証 - 標準メトリックを使用した検索の関連性評価 - 予想される負荷条件でのパフォーマンスベンチマーク - アクセス制御とデータ分離のためのセキュリティテスト アシスタント設定 ^^^^^^^^^^^^^^^^ アシスタントの開発では、取得、推論、および応答生成機能を注意深くオーケストレーションして、信頼性の高いユーザーエクスペリエンスを提供する必要があります :ref:`Create an Assistant in Gen AI Builder ` を参照してください。 **構成領域** - **動作定義** アシスタントの性格、機能、および操作境界を確立します - **知識統合** 取得戦略と知識ソースの優先順位付けを構成します :ref:`Retrievers Reference Manual ` を参照してください。 - **ツール統合** 外部システムとAPIを接続して機能を拡張します :ref:`Tools Reference Manual ` を参照してください - **応答の最適化** 適切な応答特性に合わせて生成パラメーターを調整します **テスト戦略** - 体系的なダイアログテストを介した会話フローの検証 - 多様なクエリタイプにわたる知識の精度検証 - 外部ツール相互作用の統合テスト - 同時ユーザーシナリオの負荷テスト API開発 ^^^^^^^ アプリケーションは、一貫したセキュリティと操作特性を維持しながら、多様なクライアントアプリケーションをサポートする標準化されたAPIを介して機能を公開します :ref:`Where to find SDK references and examples? ` を参照してください。 **APIデザイン原則** - 明確なリソースモデリングを使用したRESTfulインターフェイス - 組織システムとの認証・承認の統合 - リソース保護のためのレート制限とクォータ管理 - 包括的なドキュメントとSDKのサポート 統合アーキテクチャ ------------------ EDB Postgres AIエコシステム ^^^^^^^^^^^^^^^^^^^^^^^^^^^ Gen AI Builderは、他のEDB Postgres AIコンポーネントとシームレスに統合し、包括的なAIアプリケーション開発機能を提供します。 **コンポーネントの相互作用** - ** :ref:`AI Factory Models ` ** 言語モデルと埋め込みモデルへの管理されたアクセス - ** :ref:`AI Accelerator Pipelines ` ** 自動コンテンツ処理とナレッジベースの更新 - ** :ref:`Vector Engine (PGvector) ` ** Postgresインフラストラクチャ内の高性能セマンティック検索 - ** :ref:`EDB’s vision for AI with Postgres and Hybrid Manager ` ** オーケストレーションとリソース管理 外部システム統合 ^^^^^^^^^^^^^^^^ アプリケーションは、セキュリティ境界と監査機能を維持しながら、標準化されたインターフェイスを介して既存の組織システムに接続します。 **統合パターン** - リアルタイムデータアクセスのためのAPIベースの接続 - 大規模なデータソース同期のバッチ処理 - 動的コンテンツ管理のイベント駆動型更新 - ユーザーアクセス制御のための安全な認証委任 運用上の考慮事項 ---------------- パフォーマンス特性 ^^^^^^^^^^^^^^^^^^ Gen AI Builderアプリケーションでは、計算リソースを効率的に管理しながら、応答性の高いユーザーエクスペリエンスを提供するために、注意深いパフォーマンスの最適化が必要です。 **パフォーマンス要素** - ナレッジベースのサイズは取得レイテンシーとリソース要件に影響を与える - モデルの複雑さは、応答生成時間とGPU使用率に影響を与える - 同時ユーザーの負荷は、システムのスケーラビリティとリソース割り当てに影響を与えます - ネットワーク接続は分散コンポーネント通信に影響を与える セキュリティフレームワーク ^^^^^^^^^^^^^^^^^^^^^^^^^^ 包括的なセキュリティ制御は、組織の機密情報を保護しながら、許可されたユーザーとアプリケーションの適切なアクセスを有効にします。 **セキュリティコンポーネント** - さまざまな組織単位のマルチテナントの分離 - 既存の承認システムと連携したロールベースのアクセス制御 - ナレッジベースコンテンツと通信チャネルのデータの暗号化 - すべてのナレッジアクセスとアシスタントのインタラクションの監査ログ ガバナンス統合 ^^^^^^^^^^^^^^ ビルトインのガバナンス機能により、アプリケーションは運用ライフサイクル全体にわたって組織のポリシーと規制要件に準拠します。 **ガバナンス機能** - ナレッジベース更新のコンテンツ承認ワークフロー - モデルの使用状況の追跡とコンプライアンスレポート - 監査とトラブルシューティングのためのデータリネージのメンテナンス - サービスレベル目標に合わせたパフォーマンスモニタリング はじめに -------- 前提条件 ^^^^^^^^ Gen AI Builderには、ハイブリッドマネージャーのインストールとAIワークロードの適切なコンピューティングリソースを含む基本的なインフラストラクチャコンポーネントが必要です。 **インフラ要件** - 十分なコンピューティング容量とストレージ容量を備えたKubernetesクラスター - モデル提供とエンベディング生成のためのGPUリソース - 組織データソースへのネットワーク接続 - IDおよびアクセス管理システムとの統合 初期実装 ^^^^^^^^ 組織は、より広範な展開のための運用手順を確立しながら、価値を実証する焦点を絞ったユースケースから始める必要があります。 **実装シークエンス** 1. **パイロットナレッジベース** 明確に定義されたコンテンツスコープで初期ナレッジベースを作成します 2. **基本的な取得** パフォーマンス検証を備えた単純な検索機能を実装する 3. **アシスタントプロトタイプ** パイロットナレッジドメインの会話インターフェイスを開発する 4. **運用展開** 包括的な運用制御を使用して、成功したプロトタイプをスケールする 学習リソース ^^^^^^^^^^^^ **概念的な基礎** - :ref:`Gen AI Builder Hub ` - プラットフォームの概要と初期セットアップ手順 - :ref:`Gen AI How-To Guides ` -一般的なシナリオの実践的な実装ガイダンス **コンポーネントドキュメント** - :ref:`LibrariesΩ Manual ` - 包括的なナレッジベース開発ガイダンス - :ref:`Assistants Reference Manual ` - インテリジェントアシスタントの作成と構成 - :ref:`API Reference ` - 開発チームのための詳細な技術文書 **高度なトピック** - :ref:`Data Lake Reference Manual ` - 大規模なデータの処理と管理 - :ref:`SDK Documentation ` - カスタム開発用のプログラマティックインターフェイス -------------- Gen AI Builderを使用すると、組織は、既存のインフラストラクチャ環境内のデータ、モデル、推論操作の完全な制御を維持しながら、洗練されたAIアプリケーションを開発できます。 .. toctree:: :maxdepth: 3 Usage--gen-ai--Getting_Started--index Usage--gen-ai--Manual--index Usage--gen-ai--Explainers--index Usage--gen-ai--How_to_prepare_data_and_kb--index Usage--gen-ai--How_to_bulid_assistants--index Usage--gen-ai--How_to_integrate_with_your_apps--index Usage--gen-ai--How_to_operate_and_observe--index