Repolode
netease-youdao

netease-youdao/BCEmbedding

Двуязычные китайско-английские модели эмбеддингов и ранжирования от NetEase Youdao для поиска в RAG-приложениях.

Звёзды
1,878
Форки
129
Открытые issues
32
Последний коммит
2 месяца назад

Что это?

BCEmbedding предлагает две модели для поисковых конвейеров: EmbeddingModel преобразует текст в семантические векторы для поиска и ответов на вопросы, а RerankerModel повторно оценивает найденные фрагменты, чтобы наиболее релевантные оказались вверху списка. Модели предназначены для поиска на китайском и английском языках, а также между языками; реранкер также поддерживает японский и корейский.

Проект лежит в основе поисковой части RAG-продуктов Youdao, включая проект с открытым исходным кодом QAnything. Модели опубликованы на Hugging Face и загружаются через пакет BCEmbedding, transformers или sentence-transformers. В комплект входят средства интеграции с LangChain и LlamaIndex, а реранкер принимает фрагменты длиной более 512 токенов.

В репозитории также есть скрипты оценки на основе MTEB и LlamaIndex, а также двуязычный набор данных для оценки RAG в нескольких предметных областях.

Ключевые возможности

  • 01Модель эмбеддингов для семантического поиска на китайском и английском языках, а также между языками.
  • 02Модель реранкера с поддержкой китайского, английского, японского и корейского языков.
  • 03Реранкер обрабатывает фрагменты длиной более 512 токенов — до 32k токенов.
  • 04Реранкер выдаёт оценки релевантности, которые можно использовать для фильтрации фрагментов низкого качества.
  • 05Модель эмбеддингов работает без инструкций для конкретных типов запросов.
  • 06Интеграции с LangChain и LlamaIndex, а также возможность напрямую использовать transformers и sentence-transformers.

Сценарии использования

  • Создание двуязычной китайско-английской базы знаний или системы ответов на вопросы по документам.
  • Добавление этапа реранжирования в существующий RAG-конвейер для улучшения контекста из поиска.
  • Поиск между языками, когда запросы и документы написаны на разных языках.
  • Сравнительная оценка моделей эмбеддингов и реранкеров на задачах RAG с помощью предоставленных скриптов.

Быстрый старт

  1. 1

    Создайте и активируйте окружение conda

    conda create --name bce python=3.10 -y
  2. 2

    Активируйте окружение conda

    conda activate bce
  3. 3

    Установите BCEmbedding из PyPI (сначала установите совместимую версию torch)

    pip install BCEmbedding==0.1.5

Что важно знать

  • Чтобы избежать конфликтов, необходимо вручную установить torch для используемой версии CUDA.
  • В README для эмбеддингов указаны только китайский и английский языки, а reranker также поддерживает японский и корейский.

В подборках

Темы

Частые вопросы

Что такое BCEmbedding?
Двуязычные китайско-английские модели эмбеддингов и ранжирования от NetEase Youdao для поиска в RAG-приложениях. BCEmbedding предлагает две модели для поисковых конвейеров: EmbeddingModel преобразует текст в семантические векторы для поиска и ответов на вопросы, а RerankerModel повторно оценивает найденные фрагменты, чтобы наиболее релевантные оказались вверху списка. Модели предназначены для поиска на китайском и английском языках, а также между языками; реранкер также поддерживает японский и корейский.
BCEmbedding можно использовать бесплатно? Какая у него лицензия?
BCEmbedding распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
BCEmbedding всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в BCEmbedding — 3 сент. 2026 г..
Для чего можно использовать BCEmbedding?
Создание двуязычной китайско-английской базы знаний или системы ответов на вопросы по документам. Добавление этапа реранжирования в существующий RAG-конвейер для улучшения контекста из поиска. Поиск между языками, когда запросы и документы написаны на разных языках. Сравнительная оценка моделей эмбеддингов и реранкеров на задачах RAG с помощью предоставленных скриптов.
Как установить BCEmbedding?
Создайте и активируйте окружение conda: conda create --name bce python=3.10 -y Активируйте окружение conda: conda activate bce Установите BCEmbedding из PyPI (сначала установите совместимую версию torch): pip install BCEmbedding==0.1.5
Где скачать BCEmbedding?
Исходный код и инструкции по установке — на GitHub: https://github.com/netease-youdao/BCEmbedding

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Универсальный AI-фреймворк на Python для семантического поиска, RAG, оркестрации LLM и рабочих процессов с языковыми моделями на базе векторной БД эмбеддингов.

13,1 тыс.+16 за неделю967PythonApache-2.0Активно поддерживаетсяОбновлён вчера

Подборка обучающих Jupyter-ноутбуков и демо, которые показывают, как создавать приложения для поиска по неструктурированным данным и ИИ на базе векторной БД Milvus.

2,5 тыс.+1 за неделю684Jupyter NotebookApache-2.0Обновлён 17 дней назад