StarlightSearch/EmbedAnything

これは何？

主な機能

• 01dense、sparse、ONNX、Model2Vec、late-interactionの埋め込みを生成します。
• 02PyTorchなしで、CandleまたはONNX Runtime上でモデルを実行します。
• 03PDF、テキスト、Markdown、画像、音声、Webサイト、S3バケットからデータを取り込みます。
• 04固定サイズ、文単位、セマンティック、late-chunkingの方式を利用できます。
• 05Qdrant、Weaviate、Milvusなどのベクトルデータベースに埋め込みをストリーミングします。
• 06Pythonバインディングと、ビルド済みのDockerサーバーイメージを提供します。

ユースケース

• PDFやドキュメントをベクトルデータベースにインデックスするRAGパイプラインの構築。
• PyTorchをインストールせずに、ローカルマシンやクラウドサーバーで埋め込みを生成。
• S3バケット内の大量のファイルを、処理しながらインデックス化。
• dense埋め込みとSPLADEのsparse埋め込みを組み合わせたハイブリッド検索の実行。

クイックスタート

1. 1

   README の「Installation」セクションの説明に従って Python パッケージをインストールします

2. 2

   README の使用例に従ってモデルを読み込み、ファイルを埋め込みます

使う前に知っておきたいこと

• !Cohere などのクラウドモデルを利用するには、ご自身の API キーが必要です。
• !アクセス制限のある Hugging Face リポジトリなど、一部のモデルではアクセストークンが必要です。

トピック

よくある質問

EmbedAnything とは？

Rust製の埋め込みパイプライン。テキスト、PDF、画像、音声、Webサイトを取り込み、ローカルまたはクラウドモデルで埋め込みを生成し、ベクトルデータベースにストリーミングします。 EmbedAnythingは、Pythonバインディングを備えたRust製の埋め込みパイプラインです。テキスト、PDF、Markdown、画像、音声、Webサイト、S3バケットなど複数のソースからファイルを取り込み、チャンクに分割して埋め込みを生成し、その結果をベクトルデータベースにストリーミングします。対応するモデルの種類には、dense、sparse（SPLADE）、ONNX、Model2Vec、late-interaction（ColBERT、ColPali）の埋め込みがあり、rerankerもサポートしています。

EmbedAnything は無料で使えますか？ライセンスは？

EmbedAnything は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

EmbedAnything は今もメンテナンスされていますか？

活発にメンテナンス中。EmbedAnything の最終コミットは 2026年10月26日 です。

EmbedAnything は何に使えますか？

PDFやドキュメントをベクトルデータベースにインデックスするRAGパイプラインの構築。 PyTorchをインストールせずに、ローカルマシンやクラウドサーバーで埋め込みを生成。 S3バケット内の大量のファイルを、処理しながらインデックス化。 dense埋め込みとSPLADEのsparse埋め込みを組み合わせたハイブリッド検索の実行。

EmbedAnything のインストール方法は？

README の「Installation」セクションの説明に従って Python パッケージをインストールします README の使用例に従ってモデルを読み込み、ファイルを埋め込みます

EmbedAnything はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/StarlightSearch/EmbedAnything