Полный код для обучения, инференса и дистилляции моделей RAG-поиска: эмбеддингов, ColBERT и reranker-моделей.
netease-youdao/BCEmbedding
Двуязычные китайско-английские модели эмбеддингов и ранжирования от NetEase Youdao для поиска в RAG-приложениях.
- Звёзды
- 1,878
- Форки
- 129
- Открытые issues
- 32
- Последний коммит
- 2 месяца назад
Что это?
BCEmbedding предлагает две модели для поисковых конвейеров: EmbeddingModel преобразует текст в семантические векторы для поиска и ответов на вопросы, а RerankerModel повторно оценивает найденные фрагменты, чтобы наиболее релевантные оказались вверху списка. Модели предназначены для поиска на китайском и английском языках, а также между языками; реранкер также поддерживает японский и корейский.
Проект лежит в основе поисковой части RAG-продуктов Youdao, включая проект с открытым исходным кодом QAnything. Модели опубликованы на Hugging Face и загружаются через пакет BCEmbedding, transformers или sentence-transformers. В комплект входят средства интеграции с LangChain и LlamaIndex, а реранкер принимает фрагменты длиной более 512 токенов.
В репозитории также есть скрипты оценки на основе MTEB и LlamaIndex, а также двуязычный набор данных для оценки RAG в нескольких предметных областях.
Ключевые возможности
- 01Модель эмбеддингов для семантического поиска на китайском и английском языках, а также между языками.
- 02Модель реранкера с поддержкой китайского, английского, японского и корейского языков.
- 03Реранкер обрабатывает фрагменты длиной более 512 токенов — до 32k токенов.
- 04Реранкер выдаёт оценки релевантности, которые можно использовать для фильтрации фрагментов низкого качества.
- 05Модель эмбеддингов работает без инструкций для конкретных типов запросов.
- 06Интеграции с LangChain и LlamaIndex, а также возможность напрямую использовать transformers и sentence-transformers.
Сценарии использования
- Создание двуязычной китайско-английской базы знаний или системы ответов на вопросы по документам.
- Добавление этапа реранжирования в существующий RAG-конвейер для улучшения контекста из поиска.
- Поиск между языками, когда запросы и документы написаны на разных языках.
- Сравнительная оценка моделей эмбеддингов и реранкеров на задачах RAG с помощью предоставленных скриптов.
Быстрый старт
- 1
Создайте и активируйте окружение conda
conda create --name bce python=3.10 -y - 2
Активируйте окружение conda
conda activate bce - 3
Установите BCEmbedding из PyPI (сначала установите совместимую версию torch)
pip install BCEmbedding==0.1.5
Что важно знать
- Чтобы избежать конфликтов, необходимо вручную установить torch для используемой версии CUDA.
- В README для эмбеддингов указаны только китайский и английский языки, а reranker также поддерживает японский и корейский.
В подборках
Темы
Частые вопросы
- Что такое BCEmbedding?
- Двуязычные китайско-английские модели эмбеддингов и ранжирования от NetEase Youdao для поиска в RAG-приложениях. BCEmbedding предлагает две модели для поисковых конвейеров: EmbeddingModel преобразует текст в семантические векторы для поиска и ответов на вопросы, а RerankerModel повторно оценивает найденные фрагменты, чтобы наиболее релевантные оказались вверху списка. Модели предназначены для поиска на китайском и английском языках, а также между языками; реранкер также поддерживает японский и корейский.
- BCEmbedding можно использовать бесплатно? Какая у него лицензия?
- BCEmbedding распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- BCEmbedding всё ещё поддерживается?
- Обновлялся за последние 6 месяцев. Последний коммит в BCEmbedding — 3 сент. 2026 г..
- Для чего можно использовать BCEmbedding?
- Создание двуязычной китайско-английской базы знаний или системы ответов на вопросы по документам. Добавление этапа реранжирования в существующий RAG-конвейер для улучшения контекста из поиска. Поиск между языками, когда запросы и документы написаны на разных языках. Сравнительная оценка моделей эмбеддингов и реранкеров на задачах RAG с помощью предоставленных скриптов.
- Как установить BCEmbedding?
- Создайте и активируйте окружение conda: conda create --name bce python=3.10 -y Активируйте окружение conda: conda activate bce Установите BCEmbedding из PyPI (сначала установите совместимую версию torch): pip install BCEmbedding==0.1.5
- Где скачать BCEmbedding?
- Исходный код и инструкции по установке — на GitHub: https://github.com/netease-youdao/BCEmbedding
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Набор инструментов для поиска от BAAI: модели эмбеддингов и реранкеров BGE, а также средства обучения, оценки и руководства для поиска и RAG.
Универсальный AI-фреймворк на Python для семантического поиска, RAG, оркестрации LLM и рабочих процессов с языковыми моделями на базе векторной БД эмбеддингов.
Подборка обучающих Jupyter-ноутбуков и демо, которые показывают, как создавать приложения для поиска по неструктурированным данным и ИИ на базе векторной БД Milvus.
Библиотека Python для создания агентов LangGraph, которые ищут в хранилище и используют сотни или тысячи инструментов.
Сервер на Rust для развертывания и обслуживания open-source-моделей эмбеддингов текста и ранжирования через HTTP и gRPC.