面向 RAG 检索模型的端到端训练、推理与蒸馏代码,覆盖向量嵌入、ColBERT 和重排序模型。
netease-youdao/BCEmbedding
网易有道开源的中英双语向量嵌入与重排序模型,面向 RAG 检索场景。
- Star
- 1,878
- Fork
- 129
- 未关闭 Issue
- 32
- 最近提交
- 2个月前
这是什么?
BCEmbedding 提供两类用于检索流程的模型:EmbeddingModel 将文本转换为语义向量,用于语义搜索和问答;RerankerModel 对候选段落重新打分,把最相关的结果排到前面。模型面向中文、英文以及跨语言检索,重排序模型还支持日语和韩语。
该项目是网易有道 RAG 产品的检索底座,开源项目 QAnything 即基于它构建。模型已发布在 Hugging Face,可通过 BCEmbedding 包、transformers 或 sentence-transformers 加载。仓库提供了 LangChain 与 LlamaIndex 的集成工具,重排序器可处理超过 512 个 token 的长段落。
仓库还包含基于 MTEB 和 LlamaIndex 的评测脚本,以及一份多领域双语 RAG 评测数据集。
核心功能
- 01向量模型支持中文、英文及跨语言语义检索。
- 02重排序模型支持中文、英文、日语和韩语。
- 03重排序器可处理超过 512 个 token 的长段落,上限约 32k token。
- 04重排序输出有意义的相关性分数,可用于过滤低质量段落。
- 05向量模型无需为不同任务单独编写查询指令。
- 06提供 LangChain 和 LlamaIndex 集成,也可直接通过 transformers 或 sentence-transformers 调用。
适用场景
- 搭建中英双语知识库或文档问答系统。
- 在现有 RAG 流程中加入重排序环节,提升检索上下文质量。
- 处理查询与文档语言不同的跨语言搜索。
- 使用仓库提供的评测脚本,在 RAG 任务上对比向量与重排序模型。
快速上手
- 1
创建并激活 conda 环境
conda create --name bce python=3.10 -y - 2
激活 conda 环境
conda activate bce - 3
从 PyPI 安装 BCEmbedding(请先安装匹配的 torch)
pip install BCEmbedding==0.1.5
使用前须知
- 为避免 CUDA 版本冲突,需要先手动安装与你系统 CUDA 版本匹配的 torch。
- 嵌入模型目前仅支持中文和英文,重排序模型另外支持日语和韩语。
收录于专题
标签
常见问题
- BCEmbedding 是什么?
- 网易有道开源的中英双语向量嵌入与重排序模型,面向 RAG 检索场景。 BCEmbedding 提供两类用于检索流程的模型:EmbeddingModel 将文本转换为语义向量,用于语义搜索和问答;RerankerModel 对候选段落重新打分,把最相关的结果排到前面。模型面向中文、英文以及跨语言检索,重排序模型还支持日语和韩语。
- BCEmbedding 可以免费使用吗?用的什么许可证?
- BCEmbedding 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- BCEmbedding 还在维护吗?
- 半年内有更新。BCEmbedding 最近一次提交是在 2026年9月3日。
- BCEmbedding 适合用来做什么?
- 搭建中英双语知识库或文档问答系统。 在现有 RAG 流程中加入重排序环节,提升检索上下文质量。 处理查询与文档语言不同的跨语言搜索。 使用仓库提供的评测脚本,在 RAG 任务上对比向量与重排序模型。
- BCEmbedding 怎么安装和运行?
- 创建并激活 conda 环境: conda create --name bce python=3.10 -y 激活 conda 环境: conda activate bce 从 PyPI 安装 BCEmbedding(请先安装匹配的 torch): pip install BCEmbedding==0.1.5
- 在哪里获取 BCEmbedding?
- 源代码和安装说明在 GitHub 上:https://github.com/netease-youdao/BCEmbedding
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
1137+1 本周88PythonMIT更新于 2个月前
北京智源推出的检索工具包,提供 BGE 向量模型与重排序模型,并包含微调、评测和教程,用于搜索与 RAG。
1.2万+11 本周946PythonMIT更新于 11天前
一体化 Python AI 框架,覆盖语义搜索、RAG、LLM 编排与语言模型工作流。
1.3万+16 本周967PythonApache-2.0维护活跃更新于 前天
基于 Milvus 向量数据库的 Jupyter 教程与演示集合,涵盖非结构化数据检索与 AI 应用构建。
2451+1 本周684Jupyter NotebookApache-2.0更新于 17天前
用于构建 LangGraph 智能体的 Python 库,可通过存储检索并调用成百上千个工具。
55949PythonMIT更新于 前天
用 Rust 编写的推理服务,可通过 HTTP 或 gRPC 部署和提供开源文本向量模型服务。
5109+14 本周452RustApache-2.0维护活跃更新于 昨天