Gen AI Factory LLM Architecture (Library and Serving Overview)#
EDB AI FactoryのモデルライブラリーとLLMサービスコンポーネントの理解
このドキュメントでは、モデルライブラリーとモデルサービングコンポーネントがAI Factory内でどのように連携して、エンタープライズグレードの大規模言語モデルLLM推論機能を提供する方法を理解するための概念的フレームワークを提供します。 AI Factoryを実装する組織は、運用要件とコンプライアンス義務に合わせたLLM展開戦略、リソース割り当て、およびガバナンスフレームワークに関する情報に基づいた決定を下すために、このアーキテクチャの理解が必要です。
目的と範囲#
AI FactoryのLLMサービングアーキテクチャにより、組織はガバナンス、セキュリティ、運用制御を維持しながら、大規模な言語モデルを大規模に展開および管理できます。このシステムは、実験的なLLM開発と実稼働対応の推論サービス間の重要なギャップに対処します。そこでは、従来のアプローチでは、信頼性、セキュリティ、コンプライアンスに関するエンタープライズ要件を満たさないことがよくあります。組織は、運用の複雑さの削減、GPUリソース使用率の向上、およびLLMライフサイクル全体にわたる一貫したポリシーの適用から利益を得ることができます。このアーキテクチャは、キュレーションのためのモデルライブラリーとランタイム操作のためのモデルサービングインフラストラクチャという2つの主要コンポーネントを介して、LLM開発と運用展開間のギャップを埋めます。
アーキテクチャ原則#
関心の分離#
このアーキテクチャは、LLMストレージ/キュレーションモデルライブラリーとLLM実行モデルサービスを区別し、各懸念の独立したスケーリングと管理を可能にします。この分離により、プラットフォームチームは、実行中の推論サービスに影響を与えることなくストレージ戦略を最適化できる一方、AIチームは、基になるインフラストラクチャの複雑さを心配せずにLLMパフォーマンスに集中できます。 1つのコンポーネントの障害が他のコンポーネントにカスケードされず、チームは特定の運用サイクルに基づいて独立してキュレーションポリシーまたはサービング構成の変更を実装できるため、システムの安定性が向上します。
ガバナンス統合#
セキュリティとコンプライアンス制御は、後付けとして追加されるのではなく、LLMパイプライン全体に埋め込まれ、画像の取り込みからプロダクション推論まで一貫したポリシーの適用を保証します。このアプローチは、セキュリティ対策が既存のシステムに遡って適用されるときに発生するガバナンスギャップという一般的な問題を解消します。プラットフォーム管理者は、すべてのLLMに自動的に適用される一元的なポリシー管理のメリットを得る一方、コンプライアンスチームは、手動介入なしで規制要件を満たす包括的な監査証跡と適用メカニズムを取得します。
リソースの最適化#
GPUリソースとコンピューティングインフラストラクチャは、個々のLLM展開から抽象化され、ワークロードの需要に基づいて効率的なリソース共有と動的な割り当てが可能になります。この抽象化により、高価なGPUリソースが特定のLLMに静的に割り当てられるために十分に活用されない一般的なシナリオが防止されます。組織は、パフォーマンス保証を維持しながらリソース使用率の向上により大幅なコスト削減を達成し、開発チームはインフラストラクチャの詳細な知識を必要としない簡素化された展開プロセスの恩恵を受けます。
制御とデータフロー#
Container Registry → Image & Model Library → Model Library (curated)
↓
KServe (ServingRuntime)
↓
InferenceService endpoint
(internal & external access)
フローコンポーネント#
LLMイメージの同期 LLMコンテナイメージは、取り込むリポジトリ、タグ、およびLLMタイプを定義するリポジトリルールに基づいて、レジストリからイメージ&モデルライブラリーに同期されます。
キュレーションプロセス モデルライブラリーは、管理された選択プロセスを介して提供するためにこれらのLLM画像の厳選されたサブセットを公開します
展開構成 オペレーターは、LLMフレームワークに最適化されたServingRuntimeを選択し、選択したLLMイメージを使用してInferenceServiceを展開します
アクセス管理 アプリケーションは、ネットワークとセキュリティの要件に応じて、クラスター通信用の内部DNSまたはアクセスキーを使用して外部ポータルエンドポイントを介してLLMを呼び出します。
コアコンポーネント#
画像&モデルライブラリー#
外部ソースからLLMコンテナイメージを同期し、使用可能な言語モデルの集中カタログを維持する基本的なレジストリシステム。このコンポーネントは、組織内のすべてのLLMイメージの信頼できるソースとして機能し、チームが別個の切断されたモデルリポジトリを維持することから通常発生する混乱を排除します。プラットフォームチームは、組織全体のLLMインベントリへの完全な可視性を取得しますが、AIチームは、展開ごとに複雑な承認プロセスをナビゲートせずに、承認されたモデルへの合理化されたアクセスの恩恵を受けます。
イメージ＆モデルライブラリーは、構成された外部レジストリを継続的に監視し、定義された基準に基づいて新しいLLMバージョンを自動的に取り込み、チームが手動介入なしで常に最新の承認された言語モデルにアクセスできるようにします。この自動化により、プラットフォームチームの運用負担が削減され、取り込まれたすべてのコンテンツに組織ポリシーの一貫した適用が保証されます。
キーファンクション
構成済みのコンテナレジストリからの自動同期により、手動オーバーヘッドが削減され、LLMバージョンとソース間の一貫性が保証されます
選択的LLM取り込みのリポジトリルールの適用により、未承認または非準拠のモデルが組織の展開パイプラインに入るのを防ぎます
メタデータ管理とバージョン追跡は、運用のトラブルシューティングとコンプライアンス報告要件の両方をサポートする完全なリネージ情報を提供します
セキュリティスキャンと脆弱性評価は、LLMが運用環境に到達する前に潜在的なリスクを自動的に特定します
統合ポイント
モデルライブラリーキュレーションビュー#
運用展開用に承認されたLLMのみを提示し、組織ポリシーとコンプライアンス要件を実装するイメージ＆モデルライブラリーの管理対象サブセット。この厳選されたビューは、包括的なLLMカタログを、セキュリティ、パフォーマンス、コンプライアンスに関する特定の組織基準を満たす言語モデルの焦点を当てたコレクションに変換します。開発チームは、組織のすべての要件を満たしていることに自信を持って厳選されたライブラリ内のモデルから選択できるため、簡素化されたLLM選択のメリットがあります。
キュレーションプロセスは、承認されたモデルを使用して作業するチームの開発速度を維持しながら、問題のあるLLMが運用環境に到達するのを防ぐ品質ゲートとして機能します。プラットフォーム管理者は、複数の基準に対してLLMを自動的に評価する高度な承認ワークフローを実装でき、厳密な品質基準を維持しながら手動レビューの負担を軽減できます。
ガバナンス制御
LLMプロモーションの承認ワークフローにより、組織の標準を満たすモデルのみが運用環境に到達し、開発の俊敏性を維持しながらリスクを削減します。
セキュリティポリシーの適用は、セキュリティのベストプラクティスに関する個々のチームの専門知識を必要とせず、すべてのLLMに一貫したセキュリティ標準を自動的に適用します
パフォーマンスベンチマーク要件は、運用LLMが展開前に運用要件を満たしていることを保証する最小パフォーマンスしきい値を確立します
コンプライアンス検証チェックは、LLMが業界固有の規制要件を満たしていることを自動的に検証し、コンプライアンスリスクと監査準備のオーバーヘッドを削減します
関連ドキュメント
LLMサービスインフラストラクチャ#
承認されたLLMイメージを、エンタープライズグレードの操作特性を備えたスケーラブルな推論エンドポイントに変換するKServeベースの展開システム。このインフラストラクチャは、ヘルスモニタリング、自動スケーリング、GPUリソース管理を含む、大規模な言語モデルを大規模に展開するために必要な複雑なオーケストレーションを処理します。開発チームは、インフラストラクチャの複雑さを抽象化する簡素化された展開プロセスの恩恵を受ける一方、運用チームは、展開されたすべてのLLMの包括的な監視および管理機能を取得します。
サービングインフラストラクチャは、さまざまなLLMタイプとフレームワークにわたって一貫した操作特性を提供し、チームが基になるモデルアーキテクチャに関係なく標準の操作手順を適用できます。この一貫性により、運用の複雑性が削減され、標準化されたモニタリング、ロギング、および復旧手順を通じて信頼性が向上します。
コアリソース
ServingRuntime LLM固有の実行環境vLLM、NIM、TensorRT-LLMは、さまざまな言語モデルタイプに最適化されたランタイム特性を提供し、展開チームからフレームワーク固有の構成の複雑さを抽象化します
InferenceService 自動スケーリング機能を備えた運用LLMエンドポイントは、需要パターンに基づいてリソース割り当てを自動的に調整し、コストを最小限に抑えながら最適なパフォーマンスを保証します
リソース管理 GPU割り当てとコンピューティング最適化システムにより、マルチプルのLLMとワークロードにわたって高価なハードウェアリソースの効率的な利用が保証されます
実装ガイド
アクセス管理#
セキュリティ境界を維持しながら、内部クラスター通信と外部APIアクセスの両方を提供するマルチレイヤーアクセス制御システム。このシステムは、モデルが異なるセキュリティプロファイルで内部マイクロサービスと外部アプリケーションの両方にサービスを提供する必要がある実稼働LLMシステムの複雑なセキュリティ要件に対応します。プラットフォーム管理者は、すべてのアクセスパターンにセキュリティポリシーを一貫して適用する一元的なアクセス制御のメリットを享受できますが、開発チームは、多様な統合要件をサポートする柔軟なアクセスオプションを取得します。
アクセス管理システムは、誰がどのような状況でどのLLMにアクセスできるかを詳細に制御し、運用の簡素化を維持しながら複雑な組織の要件をサポートします。このアプローチは、さまざまなアクセス方法にわたってアクセス制御が一貫して適用されない場合に発生する一般的なセキュリティギャップを排除します。
アクセスパターン
内部アクセス サービス間通信用のクラスターローカルDNSは、ネットワークレベルのセキュリティの分離を維持しながら、同じインフラストラクチャ内で実行されているアプリケーションに高性能で低遅延のアクセスを提供します
外部アクセス 認証と承認を備えたポータルベースのエンドポイントにより、包括的な監査証跡とアクセス制御を維持しながら、外部アプリケーションおよびサードパーティシステムとの安全な統合が可能になります
構成の詳細
システムフロー#
LLMインジェストパイプライン#
LLMコンテナイメージは、リポジトリルールによって制御される自動同期プロセスを介して、外部レジストリからイメージ&モデルライブラリーにフローします。これらのルールは、どのリポジトリ、名前空間、およびタグを監視および取り込むかを決定し、組織が日常的な同期タスクを自動化しながら、LLMパイプラインを正確に制御できるようにします。プラットフォームチームは、LLM更新を管理する際の手動オーバーヘッドの削減の恩恵を受けながら、環境に入るモデルの厳密な制御を維持します。自動化されたパイプラインは、事前に定義された基準を満たすモデルの手動承認のボトルネックを排除するため、AIチームは承認された言語モデルにすばやくアクセスできます。
インジェストパイプラインは、包括的なロギングとモニタリングを提供し、プラットフォームチームがLLM来歴を追跡し、運用システムに影響を与える前に潜在的な問題を特定できます。この可視性は、運用のトラブルシューティングとコンプライアンス報告要件の両方をサポートします。
キュレーションプロセス#
モデルライブラリーは、組織ガバナンスポリシーを適用して完全なLLMカタログをフィルタリングし、展開が承認されたモデルのみを表示します。このキュレーションプロセスには、セキュリティスキャン、パフォーマンス検証、およびコンプライアンス検証が含まれ、モデルバージョンごとに手動でレビューを必要とすることなく、組織の標準に対してLLMを自動的に評価します。このプロセスは、問題のあるモデルが実稼働環境に到達するのを防ぐ厳密な品質ゲートを維持しながら、準拠LLMの実稼働までの時間を短縮します。
組織は、ソースまたは開発チームに関係なく、すべてのLLMにわたってガバナンスポリシーの一貫した適用から恩恵を受けます。この一貫性により、コンプライアンスリスクが削減され、チームは組織標準を満たすモデルを迅速に移行できます。
導入ワークフロー#
承認されたLLMは、モデルサービングインフラストラクチャを介して展開されます。ここで、ServingRuntime構成は実行環境を定義し、InferenceService仕様はスケーリング動作とリソース要件を決定します。このワークフローは、運用展開の複雑さを抽象化しながら、操作特性の包括的な制御を提供します。開発チームは、インフラストラクチャの深い専門知識を必要としない簡素化された展開プロセスの恩恵を受ける一方、プラットフォームチームはリソースの割り当てと運用ポリシーの制御を維持します。
展開ワークフローは、自動検証とロールバック機能を提供し、開発速度を維持しながら展開リスクを削減します。システムは、運用トラフィックを新しい展開に転送する前に運用の準備状況を自動的に検証するため、Teamsは安心してLLMを展開できます。
ランタイム操作#
実稼働LLM推論エンドポイントは、自動スケーリング、状態チェック、パフォーマンスの最適化を備えた継続的な監視の下で動作します。このシステムは、操作メトリックを維持し、モデルのパフォーマンスとリソース使用率の可観測性を提供するため、実稼働システムのプロアクティブな管理を可能にします。運用チームは、システムの状態とパフォーマンスの包括的な可視化からメリットを得る一方、開発チームは、運用条件の下でのLLM動作に関する洞察を取得します。
ランタイム操作フレームワークは、サービスの中断を最小限に抑えながら、トラブルシューティングとコンプライアンスのための詳細な監査証跡を維持する自動復旧機能を提供します。この自動化により、運用のベストプラクティスの一貫した適用を通じてシステムの信頼性が向上しながら、運用の負担が削減されます。
リソース管理#
LLM用のGPUインフラストラクチャ#
このアーキテクチャは、個々のLLM展開からGPUリソースを抽象化し、需要パターンに基づいて効率的なリソース共有と動的な割り当てを可能にします。この抽象化は、実際の需要に関係なく、リソースが特定のLLMに静的に割り当てられるときに発生するGPUの使用率の低下という一般的な課題に対処します。組織は、運用ワークロードのパフォーマンス保証を維持しながら、リソース使用率の向上により大幅なコスト削減を達成します。
プラットフォームチームは、展開されているすべてのLLM全体の使用率を最適化する集中リソース管理の恩恵を得る一方、開発チームは、複雑な割り当て戦略を理解する必要がなく、GPUリソースにアクセスできます。システムは、ワークロードの特性と組織の優先順位に基づいて、リソースのスケジュールと割り当てを自動的に処理します。
セットアップ要件
LLMスケーリング戦略#
自動スケーリング機能は、トラフィックパターンとパフォーマンス要件に基づいてコンピューティングリソースを調整し、サービスレベルを維持しながら費用対効果の高い操作を保証します。スケーリングシステムは履歴パターンから学習し、需要に合わせてリソースをプロアクティブに調整し、エンドユーザーのコストとレイテンシーの両方を削減します。組織は、パフォーマンスを損なうことなく最適化されたリソースコストのメリットを享受できますが、開発チームは運用スケーリングの懸念を心配することなくLLM開発に集中できます。
スケーリング戦略は、予測可能なワークロードパターンと突然のトラフィックスパイクの両方をサポートし、多様な使用シナリオで一貫したパフォーマンスを保証します。この柔軟性により、組織は需要の変動に関係なくLLMに効率的にサービスを提供できます。
LLMのパフォーマンスの最適化#
このシステムには、バッチ処理、量子化、テンソル並列処理を含むLLM固有の最適化が組み込まれ、スループットを最大化し、レイテンシーを最小限に抑えます。これらの最適化は、モデルの特性とワークロードパターンに基づいて自動的に適用され、開発チームの専門知識を必要とせずに最適なパフォーマンスを保証します。組織は、リソースの効率的な使用を介してLLMパフォーマンスの向上とインフラストラクチャコストの削減の恩恵を受けます。
パフォーマンスの最適化は、実際のワークロード特性に基づいて継続的に評価および調整され、要件とモデルの特性の変化に応じて最適化戦略が進化します。この適応的なアプローチは、時間の経過とともにワークロードとLLMが進化しても、最適なパフォーマンスを維持します。
セキュリティとガバナンス#
アクセス制御フレームワーク#
レジストリアクセスからプロダクション推論エンドポイントまで、複数のレベルで認証と承認を強制する多層セキュリティモデル。このフレームワークは、さまざまなユーザーとアプリケーションがさまざまなモデルと機能へのさまざまなレベルのアクセスを必要とする運用LLMシステムの複雑なセキュリティ要件に対応します。プラットフォーム管理者は、多様なアクセス要件をサポートする柔軟性を維持しながら、すべてのシステムコンポーネントにセキュリティ制御を一貫して適用する一元的なポリシー管理のメリットを享受できます。
アクセス制御フレームワークは、コンプライアンスレポートとセキュリティモニタリングをサポートする包括的な監査証跡を提供し、組織がLLMインフラストラクチャ全体にわたってセキュリティの可視性を維持できるようにします。この可視性は、運用セキュリティモニタリングとコンプライアンス報告要件の両方をサポートします。
コンプライアンス統合#
ビルトインのコンプライアンス制御により、LLM展開がライフサイクル全体を通じて組織および規制の要件を満たします。これらの制御は、インジェストから運用展開まで、モデルパイプラインのすべての段階に統合されており、開発速度に影響を与えることなく一貫したコンプライアンスを保証します。組織は、包括的なコンプライアンスカバレッジを維持しながら、手動監査オーバーヘッドを削減する自動コンプライアンス検証の恩恵を受けます。
コンプライアンス統合は、規制報告要件をサポートする詳細な文書と監査証跡を提供し、組織が監査人や規制当局にコンプライアンスを実証できるようにします。この文書は、コンプライアンスの負担を軽減しながら、制御の有効性の包括的な証拠を提供します。
監査とモニタリング#
包括的なロギングおよびモニタリング機能は、システム操作、LLMパフォーマンス、およびセキュリティイベントの可視性を提供します。この監視フレームワークにより、実稼働システムに影響を与える前に問題を積極的に特定でき、同時に、トラブルシューティングとコンプライアンス調査のための詳細なフォレンジック機能を提供します。運用チームは、日常の業務とインシデント対応の両方をサポートする包括的なシステムの可視性の恩恵を受ける一方、コンプライアンスチームは、規制要件をサポートする詳細な監査証跡を取得します。
監視システムは、差し迫った問題に関するリアルタイムのアラートと、キャパシティプランニングとパフォーマンスの最適化をサポートする履歴分析機能の両方を提供します。この二重のアプローチにより、運用の応答性と戦略的計画機能の両方が保証されます。
モニタリング設定
統合パターン#
開発ワークフロー#
このシステムは、 SDKサポートとAPI互換性を介して既存の開発プロセスと統合し、アプリケーション開発ライフサイクルとのシームレスな統合を可能にします。この統合により、開発チームの摩擦が削減され、一元的なLLM管理とガバナンスの利点が維持されます。開発チームは、使い慣れたツールとパターンを使用してLLM機能をアプリケーションに組み込むことができ、プラットフォームが提供するエンタープライズグレードの運用機能のメリットを活用できます。
開発ワークフローとの統合は、アプリケーションコードまたは展開プロセスに大幅な変更を必要とせずにプロトタイプから実稼働までスケールする一貫したインターフェイスを介して、実験開発と実稼働展開の両方をサポートします。
はじめに
APIの互換性#
標準のAPIインターフェイスは、既存のLLMツールチェーンとの互換性を保証しながら、運用ワークロードにエンタープライズグレードの機能を提供します。この互換性、組織はツールとプロセスへの既存の投資を活用しながら、一元的なLLM管理とガバナンスの利点を得ることができます。開発チームは、使い慣れたAPIとツールを使用しながら、プラットフォームが提供する信頼性、セキュリティ、および運用機能の向上の恩恵を得ることができます。
APIの互換性はLLMトレーニングワークフローとアプリケーション統合パターンの両方に拡張され、チームは既存のプロセスやツールを大幅に変更せずにプラットフォームを採用できます。
高度な機能#
マルチLLMフレームワークのサポート#
このアーキテクチャは、さまざまなLLMフレームワークとランタイム環境に対応し、組織が統一インフラストラクチャ内で多様な言語モデルタイプを展開できるようにします。この柔軟性により、ベンダーロックインを防止しながら、チームは運用プロセスを断片化することなく特定のユースケースに最適なフレームワークを選択できます。組織は、成熟に応じて新しいフレームワークとテクノロジーを採用する柔軟性を維持しながら、さまざまなLLMタイプ間で一貫した運用手順の恩恵を受けます。
マルチフレームワークのサポートには、基になるフレームワークテクノロジーに関係なく最適なパフォーマンス特性を保証する、さまざまなLLMタイプの最適化されたランタイム構成が含まれます。この最適化により、開発チームに必要な専門知識が削減され、同時に最適なリソースの使用率とパフォーマンスが保証されます。
特殊な展開
カスタムランタイム構成#
組織は、カスタムのServingRuntime構成を定義して、特殊なLLM要件または最適化戦略をサポートできます。このカスタマイズ機能により、標準化された運用プロセスの利点を維持しながら、固有の組織要件のサポートが可能になります。プラットフォームチームは、すべての展開にわたって一貫した操作動作を保証しながら、特定のLLM特性またはビジネス要件に最適化する特殊なランタイム構成を作成できます。
カスタムランタイム構成は、標準の最適化パターンと、デフォルト構成では対応できない組織固有の要件の両方をサポートします。この柔軟性により、プラットフォームは運用の一貫性を維持しながら、多様な組織のニーズに適応できます。
次のステップ#
このアーキテクチャの概要を理解することは、組織内にLLMサービス機能を実装するための基礎を提供します。参照される実装ガイドは、これらのアーキテクチャ概念を作業用システムに変換する特定の構成タスクと操作手順の詳細な手順を提供します。組織は、基本的なコンポーネントから始めて、特定の運用の成熟度とビジネス要件に基づいて、高度な機能を進めていく必要があります。
システムを実際に体験するには、クイックスタートガイドから始めて、特定の展開要件に基づいて詳細な構成ドキュメントを読んでいきます。この進歩により、実装の取り組みがアーキテクチャの原則と一致することが保証され、システム機能と操作手順に関する実践的な専門知識を構築できます。