Fundamental AI Concepts#
AI Factory は、最新のAI概念、アーキテクチャ、およびテクノロジーに基づいて構築され、高度なデータ駆動型のインテリジェントアプリケーションを可能にします。
このページでは、AI Factoryのデザインと機能の基礎を形成する重要な 業界コンセプト について説明します。
AIの概念
ベクトルおよびセマンティック検索
取得拡張生成RAG
データベース用AI
インフラ用AI
ハイブリッドおよびソブリンAIアーキテクチャ
これらの概念がAI FactoryとHybrid Managerでどのように実装されているかを確認するには、以下から始めます。
---
始める前に#
次の場合、このセクションを最大限に活用できます。
AIワークフロー の基本的な理解
ベクターデータベース および セマンティック検索 に関する知識
AIパイプライン および LLMアーキテクチャ の認識
役立つ AI Factory Concepts と Getting Started - AI Factory 101 の経験
---
コアAIコンセプト#
学習システムとモデルのトレーニング#
学習システムにより、モデルはデータから学習し、明示的なプログラミングをせずに特定のタスクのパフォーマンスを向上させることができます。
一般的な学習タイプ
教師あり学習 — ラベル付けされたデータに基づいて予測します例 売上予測
教師なし学習 — ラベルのないデータからパターンを見つけます例 顧客セグメンテーション
強化学習 インタラクションと報酬フィードバックを介して学習します例ゲームプレイエージェント
インフラストラクチャのニーズ
トレーニングデータ用のスケーラブルなストレージ
モデルトレーニングのためのコンピューティング CPU、GPU、TPU
推論用の最適化されたサービスインフラストラクチャ
---
ディープラーニングDLとニューラルネットワーク#
DLは、マルチプルのレイヤーを備えたディープニューラルネットワークを使用して、複雑なパターンを抽出および学習します。
長所
非構造化データの処理画像、テキスト、オーディオ、ビデオ
画像認識、音声認識、テキスト生成などの高度なアプリケーションを強化
インフラストラクチャのニーズ
ハイパフォーマンスコンピューティングGPUまたはTPU
最適化されたデータパイプラインとモデル提供インフラストラクチャ
---
自然言語処理NLP#
NLPは、AIを適用して人間の言語を理解および生成します。
一般的な使用例
テキスト分類
感情分析
機械翻訳
会話型AI
インテリジェントな文書処理
コンテンツの概要
インフラストラクチャのニーズ
大規模モデルアーキテクチャトランスフォーマー
リアルタイムインタラクションのための低遅延のサービスインフラストラクチャ
モデルをフィードおよび微調整するためのデータパイプライン
---
大規模言語モデルLLM#
LLMは、トランスフォーマーなどの深層学習アーキテクチャに基づいた高度なNLPモデルです。
主な特徴
大規模なテキストコーパスでトレーニング
一貫した状況依存のテキストを生成
チャットボット、コンテンツ生成、コードアシスタント、高度なQ&Aをサポート
LLMは、最新のGen AIアプリケーションの基盤です。
インフラストラクチャのニーズ
トレーニング用の巨大なコンピューティングとストレージ
リアルタイム推論のためのGPUに最適化されたサービング
マルチユーザーワークロードのためのスケーラブルなインフラストラクチャ
---
エンベディングとベクター表現#
エンベディング はデータの密なベクトル表現であり、数値形式で意味をキャプチャします。
アプリケーション
セマンティック検索
パーソナライズとレコメンデーション
異常検出
RAG 検索拡張生成
エンベディングの使用方法
テキスト、画像、オーディオ、ビデオ、または構造化データをベクターに変換する
pgvectorを使用してベクターデータベースまたはPostgresに保存
近似最近傍ANNアルゴリズムを使用して類似性検索を実行します
---
ベクターデータベースとセマンティック検索#
エンベディングを保存および検索するように最適化されたデータベース。
主な機能
高速ベクトル類似性検索
高次元ベクトルストレージ
数十億のベクトルにスケーリング
ハイブリッド検索のサポートベクター+キーワード/フィルター
一般的な使用例
セマンティック検索エンジン
パーソナライズされたおすすめ
グラウンディングを備えたナレッジアシスタント
不正検出と異常検出
強化されたGen AIパイプラインRAG
---
取得拡張生成RAG#
RAG はベクトル検索とLLMを組み合わせて、根拠のある応答を生成します。
仕組み
ユーザークエリー → エンベディングに変換
ベクトル検索は、関連するドキュメント/コンテンツを取得します
取得されたコンテキストはLLMプロンプトに注入されます
LLMは、モデル知識と取得したコンテキストの両方を使用して応答を生成します
利点
より正確で根拠のあるAI応答
リアルタイムの動的な知識の統合
ドメイン固有でコンプライアンスを意識したAIアプリケーションのサポート
RAGは、AI Factoryがサポートするコアアーキテクチャパターンです。
---
データベース用のAI#
インテリジェントなデータベース管理#
AIを使用してデータベース操作を最適化する
自動パフォーマンスチューニング
インテリジェントなクエリ最適化
プロアクティブなリソース管理
予知メンテナンス
自己修復機能
目標 自律的で高度に最適化されたデータベースインフラストラクチャ 。
---
インデータベースAI#
モデルのトレーニングと推論を データベース内 で実行し、データの移動を削減します。
利点
迅速なインサイトと応答時間
簡素化されたアーキテクチャ
データベース内アプリケーションのレイテンシーの削減
リアルタイム予測機能
合理化されたモデル操作ワークフロー
例 PostgresでSQLからモデルを呼び出す。
---
Postgresのベクターデータベース#
AI Factoryは、Postgresの pgvector 拡張機能を活用します。
ネイティブベクター型と演算
AIパイプラインおよび埋め込みモデルとの統合
ハイブリッドマネージャーおよびモデルサービングとの完全な統合
Postgresデータ でセマンティック検索とRAGパイプラインを有効にする
AI機能をコアデータに近づけます。
---
インフラストラクチャのためのAI#
AI高速化ハードウェアGPU、TPU#
AIワークロードは、専用のハードウェアに大きく依存します。
GPUs — トレーニングと推論のための汎用アクセラレーション
TPU — ディープラーニング用に最適化されたASIC
その他のアクセラレータ — FPGA、推論チップ
利点
モデルトレーニングの大幅な高速化
プロダクション推論の高スループット
クラウドネイティブAIクラスターでの効率的なリソース利用
AI Factoryは、 KServe を介して最適化されたGPUサービングを統合します。
---
AIワークロードのクラウドコンピューティングの活用#
最新のAIワークロードは、スケーリングのためにクラウドコンピューティングに依存しています。
オンデマンドのGPU / TPUインスタンス
トレーニングとサービスのためのマネージドKubernetesサービス例 ハイブリッドマネージャー
最適化されたAIスタックCUDA、PyTorch、TensorFlow、JAX
高度なネットワーキングを使用した分散モデルトレーニング
ハイブリッドおよびマルチクラウドアーキテクチャ
目標
柔軟性とパフォーマンスを最大化
コストを最小限に抑える
クラウドプロバイダーと環境全体でのポータビリティを有効にする
AI Factoryは、 ハイブリッドクラウド および ソブリンAI パターンをネイティブにサポートしています。
---
ハイブリッドおよびソブリンAI#
現代の企業では、 ソブリンAI の必要性がますます高まっています。
データはインフラストラクチャとコントロールに残ります
AIパイプラインは、信頼できる知識とコンテンツを活用します
モデルサービングはインフラストラクチャで実行されます例ハイブリッドマネージャー+KServe
ガバナンス、可観測性、およびコンプライアンスがビルトインされています
AI Factoryは次のことを可能にします。
PostgresのAI
あなたのデータ を使用したパイプラインとナレッジベース
Kubernetesクラスターでのモデルサービング
ハイブリッドマネージャーダッシュボードを介した完全な可視性と制御
ソブリンAI は、EDB AI Factoryのファーストクラスのデザイン目標です。
---
関連概念#
---
次のステップ#
これらのコンセプトが EDB AI Factory をどのように強化するかを確認するには、次のことに進みます。
---