Repolode
Предложить
FlagOpen

FlagOpen/FlagEmbedding

Набор инструментов для поиска от BAAI: модели эмбеддингов и реранкеров BGE, а также средства обучения, оценки и руководства для поиска и RAG.

Открыть на GitHubСайт
Звёзды
12,259
Форки
1,105
Открытые issues
924
Последний коммит
2 месяца назад

Что это?

FlagEmbedding (BGE, BAAI General Embedding) — набор инструментов для поиска по тексту и приложений с LLM, дополненных поиском. В него входит семейство моделей эмбеддингов, преобразующих текст в векторы для семантического поиска, а также модели-реранкеры на основе cross-encoder, которые переупорядочивают лучшие результаты, найденные моделью эмбеддингов.

Проект охватывает весь рабочий процесс: инференс с помощью Python-пакета, устанавливаемого через pip, скрипты для дообучения моделей эмбеддингов и реранкеров, инструменты оценки и наборы данных. Модели опубликованы на Hugging Face и включают варианты для английского и китайского языков, а также мультиязычные модели. Модель BGE-M3 поддерживает плотный, разреженный и многовекторный поиск по входным данным длиной до 8192 токенов.

Помимо основных моделей, в репозитории представлены исследовательские проекты: LLM-Embedder для дополнения поиска, Activation-Beacon для увеличения длины контекста LLM и C-MTEB — китайский бенчмарк моделей эмбеддингов.

Ключевые возможности

  • 01Python-пакет, устанавливаемый через pip, для работы с моделями эмбеддингов и реранкеров BGE.
  • 02Мультиязычная модель BGE-M3 с поддержкой плотного, разреженного и многовекторного поиска.
  • 03Скрипты для дообучения моделей эмбеддингов и реранкеров.
  • 04Инструменты оценки и наборы данных для бенчмарков поиска.
  • 05Модели на Hugging Face для английского и китайского языков, а также для мультиязычных сценариев.

Сценарии использования

  • Создание семантического поиска по коллекциям документов.
  • Добавление этапа поиска с реранкером лучших результатов в конвейер RAG.
  • Дообучение модели эмбеддингов на парах запросов и текстовых фрагментов из конкретной предметной области.
  • Оценка качества поиска на китайском и других языках.

Быстрый старт

  1. 1

    Установите пакет с помощью pip

    pip install -U FlagEmbedding
  2. 2

    Загрузите модель эмбеддингов BGE в Python

  3. 3

    Закодируйте предложения и вычислите сходство

Что важно знать

  • Для дообучения необходимо отдельно установить дополнительные зависимости finetune.

Темы

#embeddings#information-retrieval#rag#reranker#semantic-search#sentence-embeddings#nlp#llm#retrieval-augmented-generation#text-semantic-similarity

Частые вопросы

Что такое FlagEmbedding?
Набор инструментов для поиска от BAAI: модели эмбеддингов и реранкеров BGE, а также средства обучения, оценки и руководства для поиска и RAG. FlagEmbedding (BGE, BAAI General Embedding) — набор инструментов для поиска по тексту и приложений с LLM, дополненных поиском. В него входит семейство моделей эмбеддингов, преобразующих текст в векторы для семантического поиска, а также модели-реранкеры на основе cross-encoder, которые переупорядочивают лучшие результаты, найденные моделью эмбеддингов.
FlagEmbedding можно использовать бесплатно? Какая у него лицензия?
FlagEmbedding распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
FlagEmbedding всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в FlagEmbedding — 24 авг. 2026 г..
Для чего можно использовать FlagEmbedding?
Создание семантического поиска по коллекциям документов. Добавление этапа поиска с реранкером лучших результатов в конвейер RAG. Дообучение модели эмбеддингов на парах запросов и текстовых фрагментов из конкретной предметной области. Оценка качества поиска на китайском и других языках.
Как установить FlagEmbedding?
Установите пакет с помощью pip: pip install -U FlagEmbedding Загрузите модель эмбеддингов BGE в Python Закодируйте предложения и вычислите сходство
Где скачать FlagEmbedding?
Исходный код и инструкции по установке — на GitHub: https://github.com/FlagOpen/FlagEmbedding

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты