埋め込み、ColBERT、リランカーモデルを対象に、RAG検索モデルの学習・推論・蒸留を一貫して行うコードベースです。
netease-youdao/BCEmbedding
NetEase Youdaoが提供する、中国語・英語の検索に対応したRAG向けEmbeddingモデルとRerankerモデル。
- スター
- 1,878
- フォーク
- 129
- 未解決の Issue
- 32
- 最終コミット
- 2 か月前
これは何?
BCEmbeddingは検索パイプライン向けに2つのモデルを提供します。EmbeddingModelはテキストを検索や質問応答に使える意味ベクトルに変換し、RerankerModelは候補となる文章を再スコアリングして、関連性の高い結果を上位に並べます。モデルは中国語、英語、言語横断検索に対応し、Rerankerは日本語と韓国語も扱えます。
このプロジェクトは、オープンソースのQAnythingを含むYoudaoのRAG製品を支える検索基盤です。モデルはHugging Faceで公開されており、BCEmbeddingパッケージ、transformers、またはsentence-transformersから読み込めます。LangChainとLlamaIndex向けの連携用ヘルパーも用意されており、Rerankerは512トークンを超える文章も処理できます。
リポジトリには、MTEBとLlamaIndexを使った評価スクリプトのほか、複数ドメインを対象としたバイリンガルRAG評価データセットも含まれています。
主な機能
- 01中国語、英語、言語横断の意味検索に対応するEmbeddingモデル。
- 02中国語、英語、日本語、韓国語に対応するRerankerモデル。
- 03512トークンを超える文章を処理でき、最大32kトークンに対応するReranker。
- 04関連性スコアを出力し、品質の低い文章のフィルタリングに利用できるReranker。
- 05タスク固有のクエリ指示なしで動作するEmbeddingモデル。
- 06LangChainとLlamaIndexとの連携に加え、transformersおよびsentence-transformersから直接利用可能。
ユースケース
- 中国語・英語のバイリンガル知識ベースや文書QAシステムの構築。
- 既存のRAGパイプラインに再ランキング段階を追加し、検索コンテキストを改善する。
- クエリと文書で異なる言語を使う言語横断検索。
- 付属の評価スクリプトを使い、RAGタスクでEmbeddingモデルとRerankerモデルをベンチマークする。
クイックスタート
- 1
conda環境を作成して有効化する
conda create --name bce python=3.10 -y - 2
conda環境を有効化する
conda activate bce - 3
PyPIからBCEmbeddingをインストールする(先に対応するtorchをインストールしてください)
pip install BCEmbedding==0.1.5
使う前に知っておきたいこと
- 競合を避けるには、使用するCUDAバージョンに合ったtorchを手動でインストールする必要があります。
- READMEでは、埋め込みモデルの対応言語として中国語と英語のみが記載されています。リランカーは日本語と韓国語にも対応しています。
収録されている特集
トピック
よくある質問
- BCEmbedding とは?
- NetEase Youdaoが提供する、中国語・英語の検索に対応したRAG向けEmbeddingモデルとRerankerモデル。 BCEmbeddingは検索パイプライン向けに2つのモデルを提供します。EmbeddingModelはテキストを検索や質問応答に使える意味ベクトルに変換し、RerankerModelは候補となる文章を再スコアリングして、関連性の高い結果を上位に並べます。モデルは中国語、英語、言語横断検索に対応し、Rerankerは日本語と韓国語も扱えます。
- BCEmbedding は無料で使えますか?ライセンスは?
- BCEmbedding は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- BCEmbedding は今もメンテナンスされていますか?
- 半年以内に更新あり。BCEmbedding の最終コミットは 2026年9月3日 です。
- BCEmbedding は何に使えますか?
- 中国語・英語のバイリンガル知識ベースや文書QAシステムの構築。 既存のRAGパイプラインに再ランキング段階を追加し、検索コンテキストを改善する。 クエリと文書で異なる言語を使う言語横断検索。 付属の評価スクリプトを使い、RAGタスクでEmbeddingモデルとRerankerモデルをベンチマークする。
- BCEmbedding のインストール方法は?
- conda環境を作成して有効化する: conda create --name bce python=3.10 -y conda環境を有効化する: conda activate bce PyPIからBCEmbeddingをインストールする(先に対応するtorchをインストールしてください): pip install BCEmbedding==0.1.5
- BCEmbedding はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/netease-youdao/BCEmbedding
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
BAAIが提供する検索ツールキット。BGE埋め込み・再ランキングモデルに加え、検索やRAG向けの学習、評価、チュートリアルを備えています。
埋め込みデータベースを基盤に、セマンティック検索、RAG、LLMオーケストレーション、言語モデルのワークフローを実現するオールインワンのPython AIフレームワーク。
Milvusベクトルデータベースを使った、非構造化データ検索やAIアプリケーションの構築方法を紹介するJupyter notebookのチュートリアルとデモ集です。
大量のツールを検索・取得して利用するLangGraphエージェントを構築するためのPythonライブラリ。
オープンソースのテキスト埋め込み・リランキングモデルをHTTPとgRPC経由でデプロイ、提供するRust製サーバー。