Local models#

AIDBは2種類のローカルモデルをサポートしています。どちらも外部APIを必要とせずにPostgresホストで直接実行されます。

ビルトインモデル — AIDBは、サポートされている各モデルタイプのデフォルトバリアントをバンドルし、自動的に登録します。使用を開始するために設定は必要ありません。
カスタムローカルモデル — 別のモデルバリアント、微調整モデル、または特定のローカルパスが必要な場合は、 aidb.create_model() を使用してカスタムバージョンを登録できます。

ビルトインモデル#

次のモデルは、すべてのAIDBインストールで構成なしで使用できます。

Model name	Provider	Use
bert	bert_local	Text embeddings
clip	clip_local	Multimodal embeddings (text and image)
t5	t5_local	Text-to-text generation
llama	llama_instruct_local	Text-to-text generation
dummy	dummy	Testing and development (returns zeros)

AIDB SQLファンクションまたはパイプラインステップ構成で、名前で直接使用します。

- - Text embedding with the built-in BERT model
SELECT aidb.encode_text(bert, The quick brown fox);

- - Image embedding with the built-in CLIP model
SELECT aidb.encode_image(clip, pg_read_binary_file(/tmp/photo.jpg)::BYTEA);

- - Text generation with the built-in T5 model
SELECT aidb.decode_text(t5, Translate to French: Hello, world.);

カスタムローカルモデル#

別のモデルバージョン、微調整されたモデル、または特定のローカルパスが必要な場合、 aidb.create_model() を使用してカスタムバリアントを登録します。

SELECT aidb.create_model(
    name     => my_model,
    provider => <provider>,
    config   => <config_helper>(...)
);

Parameter	Type	Description
name	TEXT	このモデルの一意の名前。パイプラインおよびSQLファンクションで参照するために使用されます。
provider	TEXT	モデルプロバイダー。 AIDBが使用する推論エンジンを決定します。
config	JSONB	プロバイダー固有の構成、構成ヘルパー機能で構築されています。

BERT#

aidb.bert_config() を使用して、HuggingFaceモデル識別子、オプションのリビジョン、およびオプションのローカルキャッシュディレクトリを指定します。

SELECT aidb.create_model(
    my_bert,
    bert_local,
    config => aidb.bert_config(sentence-transformers/all-MiniLM-L6-v2)
);

Parameter	Type	Default	Description
model	TEXT	Required	モデル名またはパスHuggingFace識別子。
revision	TEXT	NULL	モデルのリビジョンまたはブランチ。
cache_dir	TEXT	NULL	モデルファイルをキャッシュするためのローカルディレクトリ。

クリップ#

aidb.clip_config() を使用して、ジョイントテキストと画像埋め込みのCLIPベースのマルチモーダルモデルを構成します。

SELECT aidb.create_model(
    my_clip,
    clip_local,
    config => aidb.clip_config(openai/clip-vit-base-patch32)
);

Parameter	Type	Default	Description
model	TEXT	Required	モデル名またはパスHuggingFace識別子。
revision	TEXT	NULL	モデルのリビジョンまたはブランチ。
cache_dir	TEXT	NULL	モデルファイルをキャッシュするためのローカルディレクトリ。

T5#

aidb.t5_config() を使用して、T5テキスト対テキストモデルを構成します。 T5モデルは、バリアントに応じて、翻訳、要約、質問応答などのタスクをサポートします。

SELECT aidb.create_model(
    my_t5,
    t5_local,
    config => aidb.t5_config(google/flan-t5-base)
);

Parameter	Type	Default	Description
model	TEXT	Required	モデル名またはパス。
model_path	TEXT	NULL	モデルの重みへの明示的なローカルパス `model`をオーバーライドします。
cache_dir	TEXT	NULL	モデルファイルをキャッシュするためのローカルディレクトリ。

ラマ#

aidb.llama_config() を使用して、テキスト生成用のLlamaファミリー言語モデルを構成します。 Llamaモデルは、温度、top-pサンプリング、コンテキスト長、およびその他の生成パラメーターをサポートしています。

SELECT aidb.create_model(
    my_llama,
    llama_instruct_local.,
    config => aidb.llama_config(
        meta-llama/Llama-3.2-3B-Instruct,
        temperature => 0.5
    )
);

Parameter	Type	Default	Description
model	TEXT	Required	モデル名またはパス。
cache_dir	TEXT	NULL	モデルファイルをキャッシュするためのローカルディレクトリ。
model_path	TEXT	NULL	モデルの重みへの明示的なローカルパス `model`をオーバーライドします。
temperature	DOUBLE PRECISION	NULL	サンプリング温度。
top_p	DOUBLE PRECISION	NULL	nucleusサンプリングしきい値。
seed	BIGINT	NULL	再現可能な出力のランダムシード。

!!!注ローカルモデルファイルはHuggingFaceからダウンロードされ、最初に使用するときにキャッシュされます。 Postgresプロセスには、ネットワークアクセスとキャッシュディレクトリへの書き込みアクセスが必要です。エアギャップ環境の場合、モデルファイルを事前ダウンロードし、 model_path またはcache_dir を使用してローカルコピーをポイントします。

ローカルモデルのダウンロード#

ローカルモデルが初めて使用されるとき、またはそのキャッシュが欠落または破損しているとき、AIDBはHuggingFaceから構成済みのcache_dir にモデルファイルをダウンロードします。ダウンローダーは進行状況メッセージを発行し、一時的なネットワーク障害を自動的に再試行します。

進行状況メッセージ#

AIDBは、ファイルごとに、要求の開始時にdownloading 行を生成し、終了時にcomplete 行を生成します。マルチギガバイトのファイルの場合、ハートビートラインは、累積バイト数と完了パーセントを約30秒ごとにレポートするため、大規模なダウンロード中にセッションがフリーズしたように見えません。

SELECT aidb.decode_text(t5, test);
__OUTPUT__
NOTICE:  [t5_local] loading t5-small (rev refs/pr/15) -> /var/.../snapshots/refs/pr/15
NOTICE:  [hf] downloading https://huggingface.co/t5-small/resolve/refs%2Fpr%2F15/config.json (expected: 1.2 KB)
NOTICE:  [hf] complete: https://huggingface.co/t5-small/resolve/refs%2Fpr%2F15/config.json (1.2 KB) in 0.9s
NOTICE:  [hf] downloading https://huggingface.co/t5-small/resolve/refs%2Fpr%2F15/model.safetensors (size unknown)
NOTICE:  [hf] downloading t5-small/model.safetensors: 115.4 MB / 230.8 MB (50.0%)
NOTICE:  [hf] downloading t5-small/model.safetensors: 216.4 MB / 230.8 MB (93.7%)
NOTICE:  [hf] complete: https://huggingface.co/t5-small/resolve/refs%2Fpr%2F15/model.safetensors (230.8 MB) in 83.5s

デフォルトでは、これらの行はNOTICE レベルでクライアントに送信されます。 aidb.download_log_level パラメーターを使用して、代わりにサーバーログにルーティングするか、完全に抑制します。

再試行と再開#

マルチギガバイトのダウンロードの途中で接続をドロップするCDNは、要求を完全に失敗しません。

再試行ごとに、以前の試行が停止した場所からRange ヘッダーが送信されるため、進行状況はゼロからリスタートするのではなく、試行にわたって蓄積されます。
AIDBは、「まだ新しいバイトを受信している」と「進行状況がゼロ」を区別し、 aidb.download_max_attempts に対するストールした試行のみをカウントし、試行間の指数関数的なバックオフを使用します。
psql からのCtrl-C は、現在の要求がタイムアウトするのを待機する代わりに、再試行の間に着陸します。

ファイルごとの試行の合計数は、 aidb.download_max_attempts デフォルト30 によって制限されます。

検証と自己修復#

AIDBは、HuggingFaceによって宣伝されるサイズとSHA-256ハッシュを使用してダウンロードされたファイルを検証し、これらの値を記録する完了した各ダウンロードの横に小さなサイドカーファイルを書き込みます。キャッシュヒットするたびに、AIDBはサイドカーに対してファイルサイズを再チェックするため、元のダウンロードの後に切り詰められたファイルは、使用される前にキャッチされます。

モデルのロード時に、キャッシュされたファイルが破損していると検出されると、AIDBは影響を受けるスナップショットをパージし、自動的に1回再ダウンロードします。

登録されたモデルを使用する#

登録されると、モデルはAIDBファンクションで名前で参照されます。カスタムモデルとビルトインモデルは互換性があります。

- - Use a custom BERT model for embedding
SELECT aidb.encode_text(my_bert, Hello world);

- - Use a custom BERT model in a pipeline step
SELECT aidb.create_pipeline(
    name => my_pipeline,
    source => my_source_table,
    source_key_column => id,
    source_data_column => content,
    step_1 => KnowledgeBase,
    step_1_options => aidb.knowledge_base_config(model => my_bert, data_format => Text)
);

すべてのモデル構成ヘルパーファンクションの完全なパラメーターの詳細については、 Models reference を参照してください。

AIDBのローカルプロバイダーで動作するようにテストおよび検証されたHuggingFaceモデルバリアントのリストについては、 Support matrix を参照してください。

Local models

目次