Código integral para entrenar, ejecutar y destilar modelos de recuperación para RAG, incluidos modelos de embeddings, ColBERT y rerankers.
netease-youdao/BCEmbedding
Modelos bilingües de embeddings y reranking chino-inglés de NetEase Youdao, diseñados para la recuperación de información en aplicaciones RAG.
- Estrellas
- 1,878
- Forks
- 129
- Issues abiertos
- 32
- Último commit
- hace 2 meses
¿Qué es?
BCEmbedding ofrece dos modelos para pipelines de recuperación: EmbeddingModel, que convierte texto en vectores semánticos para búsquedas y respuestas a preguntas, y RerankerModel, que vuelve a puntuar pasajes candidatos para que los más relevantes aparezcan primero. Los modelos están diseñados para la recuperación en chino, inglés y entre idiomas; el reranker también admite japonés y coreano.
El proyecto es la base de recuperación de los productos RAG de Youdao, incluido QAnything, de código abierto. Los modelos están publicados en Hugging Face y se pueden cargar mediante el paquete BCEmbedding, transformers o sentence-transformers. Incluye herramientas de integración para LangChain y LlamaIndex, y el reranker admite pasajes de más de 512 tokens.
El repositorio también incluye scripts de evaluación basados en MTEB y LlamaIndex, además de un conjunto de datos bilingüe para evaluar RAG en varios dominios.
Funciones clave
- 01Modelo de embeddings para la recuperación semántica en chino, inglés y entre idiomas.
- 02Modelo de reranking compatible con chino, inglés, japonés y coreano.
- 03El reranker procesa pasajes de más de 512 tokens, hasta un máximo de 32k tokens.
- 04El reranker genera puntuaciones de relevancia que se pueden usar para filtrar pasajes de baja calidad.
- 05El modelo de embeddings funciona sin instrucciones específicas para cada tarea en las consultas.
- 06Integraciones con LangChain y LlamaIndex, además de uso directo mediante transformers y sentence-transformers.
Casos de uso
- Crear una base de conocimiento bilingüe chino-inglés o un sistema de preguntas y respuestas sobre documentos.
- Añadir una etapa de reranking a un pipeline RAG existente para mejorar el contexto recuperado.
- Realizar búsquedas entre idiomas cuando las consultas y los documentos están en idiomas distintos.
- Comparar modelos de embeddings y reranking en tareas RAG con los scripts de evaluación incluidos.
Inicio rápido
- 1
Crea y activa un entorno conda
conda create --name bce python=3.10 -y - 2
Activa el entorno conda
conda activate bce - 3
Instala BCEmbedding desde PyPI (instala primero una versión compatible de torch)
pip install BCEmbedding==0.1.5
Antes de usarlo
- Es necesario instalar manualmente torch para tu versión de CUDA a fin de evitar conflictos.
- El README solo indica chino e inglés para los embeddings; el reranker también admite japonés y coreano.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es BCEmbedding?
- Modelos bilingües de embeddings y reranking chino-inglés de NetEase Youdao, diseñados para la recuperación de información en aplicaciones RAG. BCEmbedding ofrece dos modelos para pipelines de recuperación: EmbeddingModel, que convierte texto en vectores semánticos para búsquedas y respuestas a preguntas, y RerankerModel, que vuelve a puntuar pasajes candidatos para que los más relevantes aparezcan primero. Los modelos están diseñados para la recuperación en chino, inglés y entre idiomas; el reranker también admite japonés y coreano.
- ¿BCEmbedding es gratuito? ¿Qué licencia tiene?
- BCEmbedding es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿BCEmbedding sigue mantenido?
- Actualizado en los últimos 6 meses. El último commit de BCEmbedding fue el 3 sept 2026.
- ¿Para qué puedo usar BCEmbedding?
- Crear una base de conocimiento bilingüe chino-inglés o un sistema de preguntas y respuestas sobre documentos. Añadir una etapa de reranking a un pipeline RAG existente para mejorar el contexto recuperado. Realizar búsquedas entre idiomas cuando las consultas y los documentos están en idiomas distintos. Comparar modelos de embeddings y reranking en tareas RAG con los scripts de evaluación incluidos.
- ¿Cómo se instala BCEmbedding?
- Crea y activa un entorno conda: conda create --name bce python=3.10 -y Activa el entorno conda: conda activate bce Instala BCEmbedding desde PyPI (instala primero una versión compatible de torch): pip install BCEmbedding==0.1.5
- ¿Dónde consigo BCEmbedding?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/netease-youdao/BCEmbedding
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Toolkit de recuperación de BAAI con modelos de embeddings y reranking BGE, además de herramientas de entrenamiento, evaluación y tutoriales para búsqueda y RAG.
Framework de IA todo en uno para Python, basado en una base de datos de embeddings, que ofrece búsqueda semántica, RAG, orquestación de LLM y flujos de trabajo con modelos de lenguaje.
Colección de tutoriales y demostraciones en notebooks de Jupyter para crear aplicaciones de búsqueda de datos no estructurados e IA con la base de datos vectorial Milvus.
Una biblioteca de Python para crear agentes de LangGraph que buscan en un almacén para recuperar y usar cientos o miles de herramientas.
Servidor basado en Rust para desplegar y servir modelos open source de embeddings de texto y reranking mediante HTTP y gRPC.