huggingface/text-embeddings-inference

これは何？

主な機能

• 01埋め込み、リランキング、系列分類モデルをHTTP RESTとgRPC経由で提供する。
• 02トークン数に基づく動的バッチ化で、利用可能なハードウェアを有効活用する。
• 03CPU、NVIDIA CUDA GPU、Apple SiliconのMetal、AMD ROCm GPUで動作する。
• 04SafetensorsとONNX形式の重みを読み込み、Hugging Face Hubまたはローカルディレクトリからモデルを取得する。
• 05OpenTelemetryトレーシング、Prometheusメトリクス、任意のAPIキー認証を提供する。

ユースケース

• 検索拡張生成（RAG）パイプライン向けに埋め込みエンドポイントをホスティングする。
• クロスエンコーダーによるリランキングを追加して、検索結果の表示順を改善する。
• ローカルの重みを使い、エアギャップ環境やプライベートインフラで埋め込みモデルを実行する。
• ローカル開発向けに、Apple Silicon搭載Macで埋め込みモデルを提供する。

クイックスタート

1. 1

   モデルを指定して Docker コンテナを起動します（GPU の使用には NVIDIA Container Toolkit が必要です）

   docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model
2. 2

   ローカルサーバーに埋め込みリクエストを送信します

   curl 127.0.0.1:8080/embed -X POST -d '{"inputs":"What is Deep Learning?"}' -H 'Content-Type: application/json'

使う前に知っておきたいこと

• !GPU の使用には NVIDIA Container Toolkit と CUDA 12.2 以降に対応したドライバーが必要です。
• !サポート対象のモデルアーキテクチャは README に記載されているものに限られます。

収録されている特集

トピック

よくある質問

text-embeddings-inference とは？

オープンソースのテキスト埋め込み・リランキングモデルをHTTPとgRPC経由でデプロイ、提供するRust製サーバー。 Text Embeddings Inference（TEI）は、オープンソースのテキスト埋め込みモデルと系列分類モデルをデプロイ、提供するためのツールキットです。埋め込みの生成、クロスエンコーダーモデルによるクエリと文書のペアのリランキング、系列分類を実行するエンドポイントを提供し、REST APIのOpenAPI/Swaggerリファレンスも利用できます。

text-embeddings-inference は無料で使えますか？ライセンスは？

text-embeddings-inference は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

text-embeddings-inference は今もメンテナンスされていますか？

活発にメンテナンス中。text-embeddings-inference の最終コミットは 2026年11月6日 です。

text-embeddings-inference は何に使えますか？

検索拡張生成（RAG）パイプライン向けに埋め込みエンドポイントをホスティングする。 クロスエンコーダーによるリランキングを追加して、検索結果の表示順を改善する。 ローカルの重みを使い、エアギャップ環境やプライベートインフラで埋め込みモデルを実行する。 ローカル開発向けに、Apple Silicon搭載Macで埋め込みモデルを提供する。

text-embeddings-inference のインストール方法は？

モデルを指定して Docker コンテナを起動します（GPU の使用には NVIDIA Container Toolkit が必要です）: docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model ローカルサーバーに埋め込みリクエストを送信します: curl 127.0.0.1:8080/embed -X POST -d '{"inputs":"What is Deep Learning?"}' -H 'Content-Type: application/json'

text-embeddings-inference はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/huggingface/text-embeddings-inference