Repolode
netease-youdao

netease-youdao/BCEmbedding

Modelos bilíngues de embedding e reranking em chinês e inglês da NetEase Youdao, feitos para recuperação de informações em aplicações RAG.

Estrelas
1,878
Forks
129
Issues abertas
32
Último commit
há 2 meses

O que é?

O BCEmbedding oferece dois modelos para pipelines de recuperação: o EmbeddingModel transforma texto em vetores semânticos para busca e respostas a perguntas, enquanto o RerankerModel reavalia a pontuação dos trechos candidatos para que os resultados mais relevantes apareçam primeiro. Os modelos são voltados à recuperação em chinês, inglês e entre idiomas; o reranker também oferece suporte a japonês e coreano.

O projeto é a base de recuperação dos produtos RAG da Youdao, incluindo o QAnything, de código aberto. Os modelos estão disponíveis no Hugging Face e podem ser carregados pelo pacote BCEmbedding, por transformers ou por sentence-transformers. O projeto inclui integrações auxiliares para LangChain e LlamaIndex, e o reranker aceita trechos com mais de 512 tokens.

O repositório também contém scripts de avaliação baseados em MTEB e LlamaIndex, além de um conjunto de dados bilíngue para avaliação de RAG em vários domínios.

Recursos principais

  • 01Modelo de embedding para recuperação semântica em chinês, inglês e entre idiomas.
  • 02Modelo de reranker com suporte a chinês, inglês, japonês e coreano.
  • 03O reranker processa trechos com mais de 512 tokens, chegando a até 32 mil tokens.
  • 04O reranker gera pontuações de relevância que podem ser usadas para filtrar trechos de baixa qualidade.
  • 05O modelo de embedding funciona sem instruções de consulta específicas para cada tarefa.
  • 06Integrações com LangChain e LlamaIndex, além do uso direto via transformers e sentence-transformers.

Casos de uso

  • Criar uma base de conhecimento bilíngue em chinês e inglês ou um sistema de perguntas e respostas sobre documentos.
  • Adicionar uma etapa de reranking a um pipeline RAG existente para melhorar o contexto recuperado.
  • Executar buscas entre idiomas, com consultas e documentos em línguas diferentes.
  • Avaliar modelos de embedding e reranker em tarefas RAG usando os scripts de avaliação fornecidos.

Início rápido

  1. 1

    Crie e ative um ambiente conda

    conda create --name bce python=3.10 -y
  2. 2

    Ative o ambiente conda

    conda activate bce
  3. 3

    Instale BCEmbedding pelo PyPI (instale primeiro uma versão compatível do torch)

    pip install BCEmbedding==0.1.5

Antes de usar

  • É necessário instalar manualmente o torch para a sua versão do CUDA para evitar conflitos.
  • O README lista apenas chinês e inglês para embeddings; o reranker também oferece suporte a japonês e coreano.

Em coleções

Tópicos

Perguntas frequentes

O que é BCEmbedding?
Modelos bilíngues de embedding e reranking em chinês e inglês da NetEase Youdao, feitos para recuperação de informações em aplicações RAG. O BCEmbedding oferece dois modelos para pipelines de recuperação: o EmbeddingModel transforma texto em vetores semânticos para busca e respostas a perguntas, enquanto o RerankerModel reavalia a pontuação dos trechos candidatos para que os resultados mais relevantes apareçam primeiro. Os modelos são voltados à recuperação em chinês, inglês e entre idiomas; o reranker também oferece suporte a japonês e coreano.
BCEmbedding é gratuito? Qual é a licença?
BCEmbedding é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
BCEmbedding ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de BCEmbedding foi em 3 de set. de 2026.
Para que posso usar BCEmbedding?
Criar uma base de conhecimento bilíngue em chinês e inglês ou um sistema de perguntas e respostas sobre documentos. Adicionar uma etapa de reranking a um pipeline RAG existente para melhorar o contexto recuperado. Executar buscas entre idiomas, com consultas e documentos em línguas diferentes. Avaliar modelos de embedding e reranker em tarefas RAG usando os scripts de avaliação fornecidos.
Como instalar BCEmbedding?
Crie e ative um ambiente conda: conda create --name bce python=3.10 -y Ative o ambiente conda: conda activate bce Instale BCEmbedding pelo PyPI (instale primeiro uma versão compatível do torch): pip install BCEmbedding==0.1.5
Onde consigo BCEmbedding?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/netease-youdao/BCEmbedding

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados