Knowledge Bases Reference Manual ================================ ナレッジベース リファレンスマニュアル ===================================== ナレッジベースは、組織のコンテンツを照会可能なナレッジリポジトリに変換するセマンティック検索インフラストラクチャを提供し、AIアシスタントが :ref:`retrieval‑augmented generation ` ワークフローを介して特定の組織のナレッジにアクセスして利用できるようにします。これらは、処理されたコンテンツと、コンテキスト情報を必要とするインテリジェントアプリケーション間の操作インターフェイスとして機能します。 目次 - :ref:`Getting Started - AI Factory 101 ` - :ref:`Practical Scenarios ` - :ref:`Architectural Purpose ` - :ref:`Technical Architecture ` - :ref:`Content Organization Framework ` - :ref:`Search Operation Types ` - :ref:`Implementation Patterns ` - :ref:`Operational Considerations ` - :ref:`Development Resources ` はじめに -------- - KBを作成します :ref:`Create a Knowledge Base in Gen AI Builder ` - ソースの準備 :ref:`Configure Data Sources in Gen AI Builder ` Confluence、Google Drive、S3、Webページ、Data Lake、Custom - ストレージの構成 :ref:`Configure the Data Lake in Gen AI Builder ` オブジェクトストレージ取り込みを使用する場合 - 管理と更新 :ref:`Manage Knowledge Bases in Gen AI Builder ` - アプリに接続する :ref:`Retrievers Reference Manual ` および :ref:`Assistants Reference Manual ` を使用 実践的なシナリオ ---------------- - ポリシーと手順KB 企業内部 強力な引用を使用してHR / IT /法務ドキュメントを一元化します。 - ビルド手順 :ref:`Configure Data Sources in Gen AI Builder ` → :ref:`Create a Knowledge Base in Gen AI Builder ` を介してソースを接続します →ゴールデンの質問で取得を検証する → :ref:`Create a Retriever in Gen AI Builder ` を介して接続します。 - 製品ドキュメントKBサポート マニュアルとFAQに関する地上エージェントの回答。 - ビルド手順 ドキュメントを取り込みS3 / Drive / Confluence → :ref:`Create a Knowledge Base in Gen AI Builder ` → チューンチャンキング/メタデータ → サポートへのリンク :ref:`Create an Assistant in Gen AI Builder ` 。 - ハイブリッドカタログKB構造化+非構造化製品属性構造化と説明/レビュー非構造化を組み合わせます。 - ビルド手順 構造化列と非構造化テキストを準備する → :ref:`Create a Knowledge Base in Gen AI Builder ` でハイブリッドKBを作成する → :ref:`Create a Retriever in Gen AI Builder ` でフィルターを公開する 。 - Analytics RAG KB レポートとWikiナレッジのセマンティック探索を有効にします。 - ビルドステップ :ref:`Pipelines and data preparation ` またはデータレイク+ローダーを介して埋め込みを準備します→ :ref:`Create a Knowledge Base in Gen AI Builder ` → 関連性とレイテンシーをテストします。 :ref:`Create an Assistant in Gen AI Builder ` と統合します。 アーキテクチャの目的 -------------------- ナレッジベースは、静的コンテンツコレクションを動的なクエリ可能なリソースに変換するセマンティック検索レイヤーとして機能し、状況理解機能を備えたAIアプリケーションをサポートします。これらは、メタデータフィルタリングと組み合わせてベクトルベースの類似性検索を実装し、言語モデルのコンテキスト強化に関連する情報を提供します。 システムインテグレーションフレームワーク ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ **Gen AI Builderパイプラインのポジション** ナレッジベースは、AI Factoryエコシステム内のコンテンツ処理とアプリケーション使用の間の重要なポジションを占めています。 :: Libraries → Knowledge Bases → Retrievers → Assistants → Applications ↓ ↓ ↓ ↓ ↓ Content Semantic Search Context User Processing Indexing Operations Integration Experience **インフラストラクチャの統合** - **Vector Engine** PostgreSQLベースのベクトルストレージを活用して、高性能セマンティック検索操作を実現 - **ライブラリ** 埋め込みベクトルと強化されたメタデータを含む処理されたコンテンツを使用します - **AI Accelerator Pipelines** セマンティックインデックスとコンテンツ変換に埋め込みモデルを利用します - **モデルサービス** クエリの理解と応答生成のための言語モデルにアクセスします テクニカルアーキテクチャ ------------------------ Vectorストレージフレームワーク ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ **セマンティックインデックス** ナレッジベースは、組織のコンテンツの特性に最適化された特殊な言語モデルによって生成された高次元の埋め込みを介して意味をキャプチャする高度なベクターストレージを実装します。 **ストレージの最適化** Vectorストレージは、Vectorエンジンを介してPostgreSQLのネイティブベクター機能を利用し、包括的なクエリ機能と運用管理機能を維持しながら、エンタープライズグレードのパフォーマンス、スケーラビリティ、および信頼性を提供します。 検索機能 ^^^^^^^^ **類似度アルゴリズム** ナレッジベースは、コサイン類似度、ユークリッド距離、意味的理解と組織の優先順位要素を組み合わせたハイブリッドスコアリングメカニズムを含む複数の類似度測定アプローチを実装しています。 **クエリ処理パイプライン** 検索操作は、計算効率を維持しながら結果の関連性を最適化する体系的な処理に従います。 1. **クエリベクトル化** 組織的な埋め込みモデルを使用してセマンティック埋め込みに変換されたユーザークエリ 2. **類似性の計算** インデックス付けされたコンテンツコレクションにわたるベクトルの類似性計算 3. **メタデータフィルタリング** アクセス制御、コンテンツ分類、および組織ポリシーに基づいた結果の絞り込み 4. **関連性ランキング** 意味的な類似性、コンテンツの最新性、およびソースの信頼性を組み込んだ多要素スコアリング 5. **コンテキストアセンブリ** 言語モデルコンテキスト統合用に最適化された結果の選択とフォーマット コンテンツ編成フレームワーク ---------------------------- インデックス戦略 ^^^^^^^^^^^^^^^^ **コンテンツのセグメンテーション** ナレッジベースは、意味の一貫性を維持しながら、取得の粒度と言語モデルのコンテキストウィンドウに最適化するインテリジェントなコンテンツチャンクを実装します。 **階層組織** コンテンツ構造の保持により、ドキュメントの関係、セクション階層、および相互参照接続が維持され、包括的な情報検出と正確なソースの帰属が可能になります。 メタデータの統合 ^^^^^^^^^^^^^^^^ **分類システム** 包括的なメタデータフレームワークは、コンテンツタイプ、アクセスレベル、件名分類、時間的関連性指標を含む組織の分類スキームをサポートします。 **アクセス制御の統合** メタデータベースのアクセス制御は、組織のセキュリティポリシーおよびユーザー権限フレームワークに合わせて適切な情報露出を保証します。 検索操作タイプ -------------- セマンティック検索 ^^^^^^^^^^^^^^^^^^ **ベクトルの類似性** 純粋なセマンティック検索操作は、キーワード一致に関係なく概念的な類似性に基づいてコンテンツを識別し、リテラルのテキスト一致ではなく意味を介して関連情報の発見を可能にします。 **コンテキストの理解** 高度なセマンティック検索には、会話コンテキスト、ユーザーの意図、および組織ドメインの知識を組み込み、情報検出の関連性と精度を強化します。 ハイブリッド検索オペレーション ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ **複合アプローチ** ハイブリッド検索戦略は、ベクトルの類似性を従来のキーワードマッチング、メタデータフィルタリング、および組織の優先度要素と統合して、意味的な理解と正確な情報取得の最適なバランスを実現します。 **パフォーマンスの最適化** インテリジェントなクエリルーティングは、クエリ特性、コンテンツタイプ、およびパフォーマンス要件に基づいて最適な検索戦略を選択し、結果の関連性を最大化しながら一貫した応答時間を保証します。 フィルタリングされた検索 ^^^^^^^^^^^^^^^^^^^^^^^^ **メタデータベースのフィルタリング** 高度なフィルタリング機能により、組織の分類、アクセス権限、コンテンツの最新性、ソース信頼性指標に基づいて、正確なコンテンツを選択できます。 **動的フィルタリング** コンテキスト認識のフィルタリングは、ユーザーロール、会話コンテキスト、および組織ポリシーに基づいて検索範囲を調整し、包括的なカバレッジを維持しながら適切な情報露出を保証します。 パフォーマンス特性 ------------------ スケーラビリティフレームワーク ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ **ホリゾンタル スケーリング** ナレッジベースアーキテクチャは、インテリジェントな負荷分散を通じて検索の一貫性とパフォーマンス特性を維持しながら、複数のPostgreSQLインスタンスにわたるホリゾンタル スケーリングをサポートします。 **クエリの最適化** 高度なクエリプランニングは、インテリジェントなインデックス戦略とキャッシュメカニズムを介して、増加するコンテンツボリューム全体で応答時間の一貫性を保つように検索操作を最適化します。 リソース管理 ^^^^^^^^^^^^ **メモリの最適化** Vectorストレージの最適化は、インテリジェントなインデックス戦略とストレージ圧縮技術を介して、包括的なコンテンツカバレッジとメモリ効率のバランスをとります。 **計算効率** 検索操作は、インテリジェントなクエリプランニング、結果キャッシュ、および並列処理機能を介して計算リソースの使用率を最適化します。 品質保証 -------- コンテンツ品質管理 ^^^^^^^^^^^^^^^^^^ **取り込み検証** ナレッジベースの作成中の体系的なコンテンツ検証により、情報の精度、完全性、および最適な検索効果のための適切なフォーマットが保証されます。 **進行中の品質評価** 検索効果とコンテンツ品質の継続的なモニタリングは、パフォーマンス分析とユーザーフィードバックの統合を介した体系的な改善をサポートします。 検索の有効性 ^^^^^^^^^^^^ **関連性モニタリング** 検索結果の関連性の包括的な評価は、ユーザーのインタラクション、フィードバックパターン、タスク完了率の体系的な分析を介して継続的な最適化をサポートします。 **パフォーマンス追跡** 詳細なパフォーマンスモニタリングは、検索応答時間、結果の精度、およびリソース使用パターンを追跡し、キャパシティプランニングと最適化の決定をサポートします。 実装パターン ------------ エンタープライズナレッジシステム ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 組織は、適切なアクセス制御と組織ガバナンス要件を維持しながら、多様なコンテンツソースを統合する包括的なナレッジベースを実装します。 **ユニファイドアクセスアーキテクチャ** - 一元化されたナレッジベースインフラストラクチャを介した部門を超えたコンテンツの統合 - 適切な情報露出を保証するロールベースのアクセス制御 - コンプライアンスと運用監視をサポートする包括的な監査証跡 - 同時アクセスと組織のスケーラビリティをサポートするパフォーマンスの最適化 特殊なドメインアプリケーション ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ドメイン固有の実装は、特殊なコンテンツ構成と検索特性を必要とする特定の業界またはユースケースのナレッジベースを最適化します。 **ドメイン最適化機能** - ドメイン用語と概念に最適化された業界固有の埋め込みモデル - ドメイン固有の分類と編成をサポートする特殊なメタデータスキーマ - 業界固有の要件の遵守を保証する規制コンプライアンスの統合 - ドメイン固有のクエリパターンとコンテンツ特性のパフォーマンスの最適化 マルチモーダルな知識の統合 ^^^^^^^^^^^^^^^^^^^^^^^^^^ 高度な実装は、統一された検索エクスペリエンスを維持しながら、ドキュメント、構造化データ、マルチメディアリソースを含む多様なコンテンツタイプにわたって知識を調整します。 **クロスモーダル機能** - コンテンツタイプの最適化により、多様なメディア形式にわたって適切な処理を保証 - さまざまな情報種類にわたって一貫したアクセスを提供する統合検索インターフェイス - 多様なコンテンツ処理と取得要件をサポートするパフォーマンスの最適化 - コンテンツモダリティ全体で一貫した結果を保証する品質保証手順 運用上の考慮事項 ---------------- 展開管理 ^^^^^^^^ **構成管理** ナレッジベースの展開には、組織のガバナンス要件をサポートしながら、開発、ステージング、および運用環境全体で一貫した検索動作を保証する体系的な構成管理が必要です。 **更新プロシージャー** コンテンツの更新には、コンテンツの更新操作中のサービスの中断を最小限に抑えながら、検索効率を最適な状態に保つ、調整されたインデックスのメンテナンスが必要です。 メンテナンスフレームワーク ^^^^^^^^^^^^^^^^^^^^^^^^^^ **インデックスの最適化** 定期的なメンテナンス手順は、インデックスの再構築、ベクトル最適化、およびシステム効率とユーザーエクスペリエンスをサポートするストレージ統合を介して最適な検索パフォーマンスを保証します。 **コンテンツの同期** 体系的な手順は、ナレッジベースの更新操作とライブラリからのコンテンツの更新を調整し、検索パフォーマンス特性を維持しながら情報の最新性を保証します。 開発リソース ------------ 構成プロシージャ ^^^^^^^^^^^^^^^^ **ナレッジベースの設定** - :ref:`Create a Knowledge Base in Gen AI Builder ` 包括的なナレッジベースの作成と構成手順 - :ref:`Manage Knowledge Bases in Gen AI Builder ` 進行中の管理と最適化手法 - :ref:`Best practices for Hybrid Knowledge Bases ` 最適な検索効率のための高度な構成 統合ドキュメント ^^^^^^^^^^^^^^^^ **システムの接続性** - :ref:`LibrariesΩ Manual ` コンテンツソースの構成と処理の最適化 - :ref:`Retrievers Reference Manual ` 検索インターフェイスの構成と最適化 - :ref:`Assistants Reference Manual ` 会話システム内でのナレッジベースの利用 **テクニカルリファレンス** - :ref:`Vector Store Drivers ` 技術的実装の詳細 - :ref:`Embedding Integration ` セマンティックインデックス作成構成 - :ref:`RAG Engine Reference ` 高度な取得拡張生成の実装 -------------- ナレッジベースは、静的な組織コンテンツを動的なインテリジェントなリソースに変換します。これにより、AIアプリケーションは、適切なアクセス制御とパフォーマンス特性を維持しながら、特定の組織の知識に基づいて、状況に関連した正確な応答を提供できます。