Data Lake Reference Manual

Data Lake Reference Manual#

データレイクリファレンスマニュアル#

データレイクは、Gen AI Builder操作の基礎的なオブジェクトストレージインフラストラクチャを提供し、コンテンツの取り込み、ワークフローアーティファクト、システムコンポーネントの永続ストレージバックエンドとして機能します。このストレージレイヤーは、初期データソースの取り込みからプロダクションアシスタントの展開に至るまで、完全なAI Factoryコンテンツパイプラインを有効にします。

Architectural Foundation#

データレイクは、永続的なデータ管理を必要とするすべてのGen AI Builder操作をサポートする中央ストレージリポジトリとして機能します。コンテンツ処理ワークフロー、コンポーネントの展開、およびAI Factoryエコシステム全体のオペレーションアーティファクト管理に必要なストレージインフラストラクチャを提供します。

システムインテグレーションロール#

Gen AI Builderパイプライン統合 データレイクは、完全なコンテンツ処理パイプライン内の重要なインフラストラクチャコンポーネントとして動作します。

Data Sources → Data Lake → Libraries → Knowledge Bases → Retrievers → Assistants

この統合により、データの永続性とアクセシビリティの要件を維持しながら、初期取り込みから運用展開までの体系的なコンテンツフローが可能になります。

コンポーネントストレージファンクション

  • コンテンツステージング 処理および変換ワークフロー中のコンテンツの一時ストレージ

  • アーティファクト管理 展開パッケージ、構成、およびシステムコンポーネント用の永続ストレージ

  • ワークフローサポート 多段階処理操作のための中間ストレージ

  • コンポーネントリポジトリ 構造、ツール、およびカスタム実装パッケージ用のストレージ

ストレージアーキテクチャ#

インフラストラクチャ要件#

オブジェクトストレージの互換性 データレイクには、標準のオブジェクト操作、アクセス制御メカニズム、およびコンソール統合のためのクロスオリジンリソース共有CORS構成をサポートするS3互換オブジェクトストレージインフラストラクチャが必要です。

サポートされているストレージバックエンド

  • 適切なバケットポリシーとIAM権限を備えたAmazon S3

  • 適切なアクセス制御とサービスアカウント構成を備えたGoogle Cloud Storage

  • コンテナレベルの権限と認証セットアップを備えたAzure Blob Storage

  • 標準のAPI操作をサポートするS3互換ストレージシステム

アクセス制御フレームワーク#

権限要件 データレイク操作には、さまざまな組織のロールとシステムコンポーネントにわたってコンテンツのアップロード、取得、および管理操作を有効にする包括的な権限が必要です。

セキュリティの分離 専用のデータレイク構成は、AI Factory操作とその他の組織のストレージ要件を適切に分離し、セキュリティの分離と業務効率の両方をサポートします。

オペレーションファンクション#

コンテンツ管理#

データソースの統合 データレイクは、データレイクタイプのデータソースのストレージバックエンドとして機能し、Gen AI Builderインターフェイスを介したコンテンツの直接のアップロードと管理を可能にします。

処理ワークフローのサポート コンテンツ変換ワークフローは、中間処理段階でData Lakeストレージを利用し、データの永続性と復旧可能性を維持しながら、複雑なマルチステップの操作を可能にします。

コンポーネントの展開#

Structure Storage データレイク内に保存される展開アーティファクトとしてのGriptape Structuresパッケージ、複雑なワークフロー実装の体系的なコンポーネント管理とバージョン管理が可能になります。

ツールリポジトリ カスタムツールと拡張機能は、運用機能に必要な展開パッケージ、構成ファイル、およびランタイムの依存関係にData Lakeストレージを利用します。

ワークフローオーケストレーション#

一時アーティファクト管理 処理ワークフローは、多段階の操作および複雑な変換プロセス中に永続的ストレージを必要とする中間アーティファクトと一時データを生成します。

状態の永続性 長時間実行される操作と複雑なワークフローは、状態管理とチェックポイント操作にData Lakeストレージを使用して、信頼性の高い処理とリカバリ機能をサポートします。

構成要件#

インフラストラクチャのセットアップ#

ストレージプロビジョニング データレイク構成には、AIワークロード要件に適した適切な容量計画、アクセス制御構成、およびパフォーマンス特性を備えた専用のオブジェクトストレージの割り当てが必要です。

ネットワーク構成 CORS構成により、プログラムによるアクセスと自動処理ワークフローの適切なセキュリティ境界を維持しながら、ブラウザベースのコンソール操作が可能になります。

アクセス管理#

資格情報要件 データレイクへのアクセスには、サポートされているすべてのユースケースでのコンテンツ管理、コンポーネントの展開、およびワークフロー操作のための十分な権限を備えた適切な認証資格情報が必要です。

アクセス制御構成 アクセス制御構成は、最小特権の原則を実装しながら、コンテンツ管理、コンポーネント展開、およびシステム機能に必要な操作を有効にする必要があります。

パフォーマンスの考慮事項#

ストレージの最適化#

アクセスパターンの最適化 データレイク構成では、コンテンツのアップロード頻度、処理ワークフロー要件、コンポーネントの展開パターンを含む予想されるアクセスパターンを考慮して、パフォーマンス特性を最適化する必要があります。

容量プランニング ストレージ容量要件は、コンテンツ量、コンポーネントの複雑さ、およびワークフローアーティファクト生成に応じて拡大するため、体系的な容量計画とモニタリング手順が必要です。

業務効率#

コンテンツの組織 データレイクコンテンツの体系的な組織は、効率的な操作をサポートし、コンテンツ、コンポーネント、ワークフローアーティファクトの管理手順を簡素化します。

クリーンアップ手順 定期的なメンテナンス手順では、一時的なアーティファクト、古いコンポーネント、および不要なコンテンツの蓄積の体系的なクリーンアップを介して、ストレージの最適な使用率を保証します。

統合パターン#

データソースの接続#

直接アップロードの統合 データレイクタイプのデータソースは、直接コンテンツアップロード機能を提供し、中間処理または変換要件なしの体系的なコンテンツの取り込みを可能にします。

ワークフロー統合 複雑なデータソースのワークフローは、コンテンツのステージング、変換アーティファクト、および多段階の取り込み操作中の処理状態管理にData Lakeストレージを利用します。

コンポーネント管理#

開発ワークフローの統合 ストラクチャーとツールの開発ワークフローは、展開パッケージにData Lakeストレージを利用し、体系的なコンポーネント管理とバージョン管理手順を有効にします。

運用展開 運用コンポーネントの展開では、ランタイムアーティファクト、構成ファイル、および信頼性の高いシステム操作をサポートする依存関係管理にData Lakeストレージを利用します。

運用のベストプラクティス#

ストレージ管理#

分離戦略 専用のデータレイク構成は、AI Factory操作とその他の組織のストレージ要件を適切に分離し、セキュリティと業務効率の両方をサポートします。

バージョン管理 保存されたコンポーネントとコンテンツの体系的なバージョン管理手順により、運用上の問題が発生した場合の信頼できる展開管理とロールバック機能が有効になります。

セキュリティフレームワーク#

アクセス制御の実装 包括的なアクセス制御構成は、セキュリティ境界と操作要件を維持しながら、さまざまなユーザータイプとシステムコンポーネントに適切な権限を保証します。

監査機能 ストレージアクセスのログとモニタリング機能は、データレイク操作の包括的な可視性を介して、運用の監視とコンプライアンス要件をサポートします。

実装の依存関係#

前提条件#

データレイク構成は、Gen AI Builder機能の基本的な要件を表します。ライブラリ、ナレッジベース、およびアシスタントオペレーションは、コンテンツ管理とシステム操作のために適切に構成されたData Lakeインフラストラクチャに依存しています。

構成リソース#

セットアップ手順

統合ドキュメント

データレイクは、Gen AI Builder内のすべてのコンテンツ管理、コンポーネント展開、およびワークフローオーケストレーション機能を有効にする重要なインフラストラクチャを提供し、完全なAI Factoryエコシステムの基本的なストレージレイヤーとして機能します。

目次