Código para treinamento, inferência e destilação de modelos de recuperação para RAG, incluindo modelos de embeddings, ColBERT e rerankers.
netease-youdao/BCEmbedding
Modelos bilíngues de embedding e reranking em chinês e inglês da NetEase Youdao, feitos para recuperação de informações em aplicações RAG.
- Estrelas
- 1,878
- Forks
- 129
- Issues abertas
- 32
- Último commit
- há 2 meses
O que é?
O BCEmbedding oferece dois modelos para pipelines de recuperação: o EmbeddingModel transforma texto em vetores semânticos para busca e respostas a perguntas, enquanto o RerankerModel reavalia a pontuação dos trechos candidatos para que os resultados mais relevantes apareçam primeiro. Os modelos são voltados à recuperação em chinês, inglês e entre idiomas; o reranker também oferece suporte a japonês e coreano.
O projeto é a base de recuperação dos produtos RAG da Youdao, incluindo o QAnything, de código aberto. Os modelos estão disponíveis no Hugging Face e podem ser carregados pelo pacote BCEmbedding, por transformers ou por sentence-transformers. O projeto inclui integrações auxiliares para LangChain e LlamaIndex, e o reranker aceita trechos com mais de 512 tokens.
O repositório também contém scripts de avaliação baseados em MTEB e LlamaIndex, além de um conjunto de dados bilíngue para avaliação de RAG em vários domínios.
Recursos principais
- 01Modelo de embedding para recuperação semântica em chinês, inglês e entre idiomas.
- 02Modelo de reranker com suporte a chinês, inglês, japonês e coreano.
- 03O reranker processa trechos com mais de 512 tokens, chegando a até 32 mil tokens.
- 04O reranker gera pontuações de relevância que podem ser usadas para filtrar trechos de baixa qualidade.
- 05O modelo de embedding funciona sem instruções de consulta específicas para cada tarefa.
- 06Integrações com LangChain e LlamaIndex, além do uso direto via transformers e sentence-transformers.
Casos de uso
- Criar uma base de conhecimento bilíngue em chinês e inglês ou um sistema de perguntas e respostas sobre documentos.
- Adicionar uma etapa de reranking a um pipeline RAG existente para melhorar o contexto recuperado.
- Executar buscas entre idiomas, com consultas e documentos em línguas diferentes.
- Avaliar modelos de embedding e reranker em tarefas RAG usando os scripts de avaliação fornecidos.
Início rápido
- 1
Crie e ative um ambiente conda
conda create --name bce python=3.10 -y - 2
Ative o ambiente conda
conda activate bce - 3
Instale BCEmbedding pelo PyPI (instale primeiro uma versão compatível do torch)
pip install BCEmbedding==0.1.5
Antes de usar
- É necessário instalar manualmente o torch para a sua versão do CUDA para evitar conflitos.
- O README lista apenas chinês e inglês para embeddings; o reranker também oferece suporte a japonês e coreano.
Em coleções
Tópicos
Perguntas frequentes
- O que é BCEmbedding?
- Modelos bilíngues de embedding e reranking em chinês e inglês da NetEase Youdao, feitos para recuperação de informações em aplicações RAG. O BCEmbedding oferece dois modelos para pipelines de recuperação: o EmbeddingModel transforma texto em vetores semânticos para busca e respostas a perguntas, enquanto o RerankerModel reavalia a pontuação dos trechos candidatos para que os resultados mais relevantes apareçam primeiro. Os modelos são voltados à recuperação em chinês, inglês e entre idiomas; o reranker também oferece suporte a japonês e coreano.
- BCEmbedding é gratuito? Qual é a licença?
- BCEmbedding é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- BCEmbedding ainda é mantido?
- Atualizado nos últimos 6 meses. O último commit de BCEmbedding foi em 3 de set. de 2026.
- Para que posso usar BCEmbedding?
- Criar uma base de conhecimento bilíngue em chinês e inglês ou um sistema de perguntas e respostas sobre documentos. Adicionar uma etapa de reranking a um pipeline RAG existente para melhorar o contexto recuperado. Executar buscas entre idiomas, com consultas e documentos em línguas diferentes. Avaliar modelos de embedding e reranker em tarefas RAG usando os scripts de avaliação fornecidos.
- Como instalar BCEmbedding?
- Crie e ative um ambiente conda: conda create --name bce python=3.10 -y Ative o ambiente conda: conda activate bce Instale BCEmbedding pelo PyPI (instale primeiro uma versão compatível do torch): pip install BCEmbedding==0.1.5
- Onde consigo BCEmbedding?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/netease-youdao/BCEmbedding
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Toolkit de recuperação de informações da BAAI com modelos BGE de embeddings e reranking, além de recursos para treinamento, avaliação e tutoriais de busca e RAG.
Framework de IA completo em Python para busca semântica, RAG, orquestração de LLMs e fluxos de trabalho com modelos de linguagem, baseado em um banco de dados de embeddings.
Coleção de tutoriais e demos em Jupyter notebooks que mostram como criar aplicações de busca em dados não estruturados e IA com o banco de dados vetorial Milvus.
Uma biblioteca Python para criar agentes LangGraph que pesquisam um repositório e recuperam e usam centenas ou milhares de ferramentas.
Servidor baseado em Rust para implantar e servir modelos open source de embeddings de texto e reranking por HTTP e gRPC.