Repolode
netease-youdao

netease-youdao/BCEmbedding

网易有道开源的中英双语向量嵌入与重排序模型,面向 RAG 检索场景。

Star
1,878
Fork
129
未关闭 Issue
32
最近提交
2个月前

这是什么?

BCEmbedding 提供两类用于检索流程的模型:EmbeddingModel 将文本转换为语义向量,用于语义搜索和问答;RerankerModel 对候选段落重新打分,把最相关的结果排到前面。模型面向中文、英文以及跨语言检索,重排序模型还支持日语和韩语。

该项目是网易有道 RAG 产品的检索底座,开源项目 QAnything 即基于它构建。模型已发布在 Hugging Face,可通过 BCEmbedding 包、transformers 或 sentence-transformers 加载。仓库提供了 LangChain 与 LlamaIndex 的集成工具,重排序器可处理超过 512 个 token 的长段落。

仓库还包含基于 MTEB 和 LlamaIndex 的评测脚本,以及一份多领域双语 RAG 评测数据集。

核心功能

  • 01向量模型支持中文、英文及跨语言语义检索。
  • 02重排序模型支持中文、英文、日语和韩语。
  • 03重排序器可处理超过 512 个 token 的长段落,上限约 32k token。
  • 04重排序输出有意义的相关性分数,可用于过滤低质量段落。
  • 05向量模型无需为不同任务单独编写查询指令。
  • 06提供 LangChain 和 LlamaIndex 集成,也可直接通过 transformers 或 sentence-transformers 调用。

适用场景

  • 搭建中英双语知识库或文档问答系统。
  • 在现有 RAG 流程中加入重排序环节,提升检索上下文质量。
  • 处理查询与文档语言不同的跨语言搜索。
  • 使用仓库提供的评测脚本,在 RAG 任务上对比向量与重排序模型。

快速上手

  1. 1

    创建并激活 conda 环境

    conda create --name bce python=3.10 -y
  2. 2

    激活 conda 环境

    conda activate bce
  3. 3

    从 PyPI 安装 BCEmbedding(请先安装匹配的 torch)

    pip install BCEmbedding==0.1.5

使用前须知

  • 为避免 CUDA 版本冲突,需要先手动安装与你系统 CUDA 版本匹配的 torch。
  • 嵌入模型目前仅支持中文和英文,重排序模型另外支持日语和韩语。

收录于专题

标签

常见问题

BCEmbedding 是什么?
网易有道开源的中英双语向量嵌入与重排序模型,面向 RAG 检索场景。 BCEmbedding 提供两类用于检索流程的模型:EmbeddingModel 将文本转换为语义向量,用于语义搜索和问答;RerankerModel 对候选段落重新打分,把最相关的结果排到前面。模型面向中文、英文以及跨语言检索,重排序模型还支持日语和韩语。
BCEmbedding 可以免费使用吗?用的什么许可证?
BCEmbedding 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
BCEmbedding 还在维护吗?
半年内有更新。BCEmbedding 最近一次提交是在 2026年9月3日。
BCEmbedding 适合用来做什么?
搭建中英双语知识库或文档问答系统。 在现有 RAG 流程中加入重排序环节,提升检索上下文质量。 处理查询与文档语言不同的跨语言搜索。 使用仓库提供的评测脚本,在 RAG 任务上对比向量与重排序模型。
BCEmbedding 怎么安装和运行?
创建并激活 conda 环境: conda create --name bce python=3.10 -y 激活 conda 环境: conda activate bce 从 PyPI 安装 BCEmbedding(请先安装匹配的 torch): pip install BCEmbedding==0.1.5
在哪里获取 BCEmbedding?
源代码和安装说明在 GitHub 上:https://github.com/netease-youdao/BCEmbedding

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目