Repolode
Enviar
irthomasthomas

irthomasthomas/llm-consortium

Plugin Python para a CLI `llm` que executa vários modelos de linguagem em paralelo, refina as respostas iterativamente e chega a um consenso usando um modelo árbitro.

Ver no GitHub
Estrelas
409
Forks
42
Issues abertas
10
Último commit
há 2 meses

O que é?

LLM Consortium é um plugin para o pacote `llm` que envia um prompt a vários modelos de linguagem ao mesmo tempo. Um modelo árbitro avalia e sintetiza as respostas individuais, e o processo se repete até atingir um limite de confiança ou de iterações. A abordagem se baseia na ideia de que verificar respostas candidatas costuma ser mais fácil do que produzir uma, então reunir vários modelos pode ajudar em problemas difíceis.

Os consórcios são salvos como modelos nomeados e chamados com a sintaxe padrão `llm -m`. Cada modelo participante pode executar várias instâncias usando a sintaxe `model:count`. O projeto oferece vários métodos de avaliação, incluindo síntese completa, classificação e classificação com chain-of-thought, além de uma estratégia semântica opcional que agrupa embeddings das respostas antes da arbitragem. As execuções são registradas no SQLite, e os embeddings salvos podem ser exportados como visualizações HTML. Também é possível continuar conversas com `-c` e `--cid`.

Também há uma API Python via `create_consortium` para uso fora da linha de comando. A instalação pode ser feita com `llm install` ou pip, com extras opcionais para embeddings e visualização.

Recursos principais

  • 01Envia um prompt a vários modelos em paralelo e reúne as respostas.
  • 02Usa um modelo árbitro para sintetizar, classificar ou avaliar respostas candidatas.
  • 03Repete o processo até atingir um limite de confiança ou o número máximo de iterações.
  • 04Aceita definir o número de instâncias por modelo com a sintaxe `model:count`.
  • 05Registra todas as interações no SQLite e pode exportar visualizações de embeddings como HTML.
  • 06Oferece uma API Python por meio de `create_consortium`.

Casos de uso

  • Obter uma resposta mais confiável para uma pergunta difícil, cruzando as respostas de vários modelos.
  • Comparar e classificar resultados de diferentes provedores de LLM em um único fluxo de trabalho.
  • Experimentar estratégias de raciocínio com vários modelos pela linha de comando ou por código Python.

Início rápido

  1. 1

    Instale o CLI llm com uv

    uv tool install llm
  2. 2

    Instale o plugin llm-consortium

    llm install "llm-consortium"
  3. 3

    Verifique se o comando consortium está disponível

    llm consortium --help

Antes de usar

  • Os recursos semânticos e de embeddings precisam de pacotes adicionais (scikit-learn, hdbscan, openai, sentence-transformers) e de chaves de API, como OPENAI_API_KEY ou CHUTES_API_TOKEN.
  • Geometric mede a concordância entre as estruturas das respostas, não a precisão factual.

Em coleções

Frameworks e apps de agentes de IA open sourceFerramentas de CLI e terminal

Tópicos

#llm#multi-agent#llm-ensemble#consensus#cli#python#prompt-engineering#ai#llms

Perguntas frequentes

O que é llm-consortium?
Plugin Python para a CLI `llm` que executa vários modelos de linguagem em paralelo, refina as respostas iterativamente e chega a um consenso usando um modelo árbitro. LLM Consortium é um plugin para o pacote `llm` que envia um prompt a vários modelos de linguagem ao mesmo tempo. Um modelo árbitro avalia e sintetiza as respostas individuais, e o processo se repete até atingir um limite de confiança ou de iterações. A abordagem se baseia na ideia de que verificar respostas candidatas costuma ser mais fácil do que produzir uma, então reunir vários modelos pode ajudar em problemas difíceis.
llm-consortium é gratuito? Qual é a licença?
llm-consortium é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
llm-consortium ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de llm-consortium foi em 5 de set. de 2026.
Para que posso usar llm-consortium?
Obter uma resposta mais confiável para uma pergunta difícil, cruzando as respostas de vários modelos. Comparar e classificar resultados de diferentes provedores de LLM em um único fluxo de trabalho. Experimentar estratégias de raciocínio com vários modelos pela linha de comando ou por código Python.
Como instalar llm-consortium?
Instale o CLI llm com uv: uv tool install llm Instale o plugin llm-consortium: llm install "llm-consortium" Verifique se o comando consortium está disponível: llm consortium --help
Onde consigo llm-consortium?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/irthomasthomas/llm-consortium

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados