Repolode
投稿する
FlagOpen

FlagOpen/FlagEmbedding

BAAIが提供する検索ツールキット。BGE埋め込み・再ランキングモデルに加え、検索やRAG向けの学習、評価、チュートリアルを備えています。

GitHub で見る公式サイト
スター
12,259
フォーク
1,105
未解決の Issue
924
最終コミット
2 か月前

これは何？

FlagEmbedding（BGE、BAAI General Embedding）は、テキスト検索や検索拡張型LLMアプリケーション向けのツールキットです。テキストをベクトルに変換してセマンティック検索に使う埋め込みモデル群と、埋め込みモデルが返した上位の検索結果を並べ替えるcross-encoder再ランキングモデルを提供します。

このプロジェクトは、Pythonパッケージを使った推論（pipでインストール可能）、埋め込みモデルと再ランキングモデルのファインチューニング用スクリプト、評価ツール、データセット集まで、ワークフロー全体をカバーしています。モデルはHugging Faceで公開されており、英語、中国語、多言語の各バリエーションがあります。BGE-M3は最大8192トークンの入力に対して、dense、sparse、multi-vector検索をサポートします。

中核となるモデルに加え、このリポジトリには検索拡張向けのLLM-Embedder、LLMのコンテキスト長を拡張するActivation-Beacon、中国語の埋め込みベンチマークであるC-MTEBなどの研究プロジェクトも含まれています。

主な機能

  • 01BGEの埋め込みモデルと再ランキングモデルを実行できる、pipでインストール可能なPythonパッケージ。
  • 02dense、sparse、multi-vector検索に対応する多言語BGE-M3モデル。
  • 03埋め込みモデルと再ランキングモデル向けのファインチューニング用スクリプト。
  • 04検索ベンチマーク向けの評価ツールとデータセット集。
  • 05英語、中国語、多言語での利用に対応するHugging Face上のモデル。

ユースケース

  • 文書コレクションを対象としたセマンティック検索の構築。
  • RAGパイプラインに検索ステップを追加し、上位k件の結果を再ランキングする。
  • ドメイン固有のクエリとパッセージのペアを使った埋め込みモデルのファインチューニング。
  • 中国語または多言語での検索品質のベンチマーク。

クイックスタート

  1. 1

    pipでパッケージをインストールする

    pip install -U FlagEmbedding
  2. 2

    PythonでBGE埋め込みモデルを読み込む

  3. 3

    文をエンコードして類似度を計算する

使う前に知っておきたいこと

  • ファインチューニングを行うには、追加のfinetune依存関係を別途インストールする必要があります。

トピック

#embeddings#information-retrieval#rag#reranker#semantic-search#sentence-embeddings#nlp#llm#retrieval-augmented-generation#text-semantic-similarity

よくある質問

FlagEmbedding とは？
BAAIが提供する検索ツールキット。BGE埋め込み・再ランキングモデルに加え、検索やRAG向けの学習、評価、チュートリアルを備えています。 FlagEmbedding（BGE、BAAI General Embedding）は、テキスト検索や検索拡張型LLMアプリケーション向けのツールキットです。テキストをベクトルに変換してセマンティック検索に使う埋め込みモデル群と、埋め込みモデルが返した上位の検索結果を並べ替えるcross-encoder再ランキングモデルを提供します。
FlagEmbedding は無料で使えますか？ライセンスは？
FlagEmbedding は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
FlagEmbedding は今もメンテナンスされていますか？
半年以内に更新あり。FlagEmbedding の最終コミットは 2026年8月24日 です。
FlagEmbedding は何に使えますか？
文書コレクションを対象としたセマンティック検索の構築。 RAGパイプラインに検索ステップを追加し、上位k件の結果を再ランキングする。 ドメイン固有のクエリとパッセージのペアを使った埋め込みモデルのファインチューニング。 中国語または多言語での検索品質のベンチマーク。
FlagEmbedding のインストール方法は？
pipでパッケージをインストールする: pip install -U FlagEmbedding PythonでBGE埋め込みモデルを読み込む 文をエンコードして類似度を計算する
FlagEmbedding はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/FlagOpen/FlagEmbedding

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト