Repolode
Предложить
irthomasthomas

irthomasthomas/llm-consortium

Плагин на Python для CLI `llm`: параллельно запускает несколько языковых моделей, итеративно улучшает их ответы и с помощью модели-арбитра находит консенсус.

Открыть на GitHub
Звёзды
409
Форки
42
Открытые issues
10
Последний коммит
2 месяца назад

Что это?

LLM Consortium — плагин для пакета `llm`, который отправляет один запрос сразу нескольким языковым моделям. Затем модель-арбитр оценивает отдельные ответы и объединяет их, а процесс повторяется до достижения порога уверенности или лимита итераций. Подход основан на идее, что проверять варианты ответов часто проще, чем формулировать ответ с нуля, поэтому объединение нескольких моделей помогает решать сложные задачи.

Консорциумы сохраняются как именованные модели и запускаются с помощью стандартного синтаксиса `llm -m`. Для каждой модели-участника можно задать несколько экземпляров, используя синтаксис `model:count`. Проект предлагает несколько способов оценки: полное объединение ответов, ранжирование и ранжирование с chain-of-thought, а также дополнительную семантическую стратегию, которая группирует эмбеддинги ответов перед арбитражем. Запуски записываются в SQLite, а сохранённые эмбеддинги можно экспортировать в виде HTML-визуализаций. Поддерживается продолжение диалога с помощью `-c` и `--cid`.

Для использования вне командной строки доступен API Python через `create_consortium`. Установить плагин можно с помощью `llm install` или pip; для работы с эмбеддингами и визуализациями доступны дополнительные зависимости.

Ключевые возможности

  • 01Отправляет один запрос нескольким моделям параллельно и собирает их ответы.
  • 02Использует модель-арбитр для объединения, ранжирования или оценки вариантов ответов.
  • 03Повторяет процесс до достижения порога уверенности или максимального числа итераций.
  • 04Поддерживает настройку числа экземпляров каждой модели с помощью синтаксиса `model:count`.
  • 05Записывает все взаимодействия в SQLite и может экспортировать визуализации эмбеддингов в HTML.
  • 06Предоставляет API Python через `create_consortium`.

Сценарии использования

  • Получение более надёжного ответа на сложный вопрос благодаря перекрёстной проверке несколькими моделями.
  • Сравнение и ранжирование результатов от разных LLM-провайдеров в рамках одного рабочего процесса.
  • Эксперименты со стратегиями рассуждений на основе нескольких моделей из командной строки или кода Python.

Быстрый старт

  1. 1

    Установите CLI llm с помощью uv

    uv tool install llm
  2. 2

    Установите плагин llm-consortium

    llm install "llm-consortium"
  3. 3

    Убедитесь, что команда consortium доступна

    llm consortium --help

Что важно знать

  • Для семантических функций и работы с эмбеддингами нужны дополнительные пакеты (scikit-learn, hdbscan, openai, sentence-transformers) и API-ключи, например OPENAI_API_KEY или CHUTES_API_TOKEN.
  • Geometric измеряет согласованность форм ответов, а не фактическую точность.

В подборках

Open source фреймворки и приложения для ИИ-агентовCLI и инструменты для терминала

Темы

#llm#multi-agent#llm-ensemble#consensus#cli#python#prompt-engineering#ai#llms

Частые вопросы

Что такое llm-consortium?
Плагин на Python для CLI `llm`: параллельно запускает несколько языковых моделей, итеративно улучшает их ответы и с помощью модели-арбитра находит консенсус. LLM Consortium — плагин для пакета `llm`, который отправляет один запрос сразу нескольким языковым моделям. Затем модель-арбитр оценивает отдельные ответы и объединяет их, а процесс повторяется до достижения порога уверенности или лимита итераций. Подход основан на идее, что проверять варианты ответов часто проще, чем формулировать ответ с нуля, поэтому объединение нескольких моделей помогает решать сложные задачи.
llm-consortium можно использовать бесплатно? Какая у него лицензия?
llm-consortium распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
llm-consortium всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в llm-consortium — 5 сент. 2026 г..
Для чего можно использовать llm-consortium?
Получение более надёжного ответа на сложный вопрос благодаря перекрёстной проверке несколькими моделями. Сравнение и ранжирование результатов от разных LLM-провайдеров в рамках одного рабочего процесса. Эксперименты со стратегиями рассуждений на основе нескольких моделей из командной строки или кода Python.
Как установить llm-consortium?
Установите CLI llm с помощью uv: uv tool install llm Установите плагин llm-consortium: llm install "llm-consortium" Убедитесь, что команда consortium доступна: llm consortium --help
Где скачать llm-consortium?
Исходный код и инструкции по установке — на GitHub: https://github.com/irthomasthomas/llm-consortium

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты