Repolode
Enviar
irthomasthomas

irthomasthomas/llm-consortium

Plugin de Python para el CLI `llm` que ejecuta varios modelos de lenguaje en paralelo, refina sus respuestas de forma iterativa y llega a un consenso con un modelo árbitro.

Ver en GitHub
Estrellas
409
Forks
42
Issues abiertos
10
Último commit
hace 2 meses

¿Qué es?

LLM Consortium es un plugin para el paquete `llm` que envía un prompt a varios modelos de lenguaje a la vez. Después, un modelo árbitro evalúa y sintetiza las respuestas individuales, y el proceso se repite hasta alcanzar un umbral de confianza o un límite de iteraciones. El enfoque parte de la idea de que suele ser más fácil comprobar respuestas candidatas que generar una, por lo que combinar varios modelos puede ayudar con problemas difíciles.

Los consorcios se guardan como modelos con nombre y se ejecutan con la sintaxis habitual `llm -m`. Cada modelo del consorcio puede ejecutar varias instancias mediante la sintaxis `model:count`. El proyecto ofrece varios métodos de evaluación, como la síntesis completa, la clasificación y la clasificación con chain-of-thought, además de una estrategia semántica opcional que agrupa las representaciones vectoriales de las respuestas antes de la evaluación. Las ejecuciones se registran en SQLite, y las representaciones vectoriales guardadas se pueden exportar como visualizaciones HTML. También se puede continuar una conversación con `-c` y `--cid`.

También hay una API de Python mediante `create_consortium`, para usarla fuera de la línea de comandos. Se instala con `llm install` o pip, con extras opcionales para las representaciones vectoriales y la visualización.

Funciones clave

  • 01Envía un prompt a varios modelos en paralelo y recopila sus respuestas.
  • 02Usa un modelo árbitro para sintetizar, clasificar o evaluar las respuestas candidatas.
  • 03Repite el proceso hasta alcanzar un umbral de confianza o el número máximo de iteraciones.
  • 04Permite configurar el número de instancias de cada modelo con la sintaxis `model:count`.
  • 05Registra todas las interacciones en SQLite y puede exportar visualizaciones de representaciones vectoriales como HTML.
  • 06Ofrece una API de Python mediante `create_consortium`.

Casos de uso

  • Obtener una respuesta más fiable a una pregunta difícil mediante la verificación cruzada de varios modelos.
  • Comparar y clasificar resultados de distintos proveedores de LLM en un solo flujo de trabajo.
  • Experimentar con estrategias de razonamiento con varios modelos desde la línea de comandos o código Python.

Inicio rápido

  1. 1

    Instala el CLI llm con uv

    uv tool install llm
  2. 2

    Instala el plugin llm-consortium

    llm install "llm-consortium"
  3. 3

    Comprueba que el comando consortium esté disponible

    llm consortium --help

Antes de usarlo

  • Las funciones semánticas y de embeddings requieren paquetes adicionales (scikit-learn, hdbscan, openai, sentence-transformers) y claves de API como OPENAI_API_KEY o CHUTES_API_TOKEN.
  • Geometric mide la concordancia entre las estructuras de las respuestas, no su exactitud factual.

En colecciones

Frameworks y apps de agentes de IA open sourceHerramientas de CLI y terminal

Temas

#llm#multi-agent#llm-ensemble#consensus#cli#python#prompt-engineering#ai#llms

Preguntas frecuentes

¿Qué es llm-consortium?
Plugin de Python para el CLI `llm` que ejecuta varios modelos de lenguaje en paralelo, refina sus respuestas de forma iterativa y llega a un consenso con un modelo árbitro. LLM Consortium es un plugin para el paquete `llm` que envía un prompt a varios modelos de lenguaje a la vez. Después, un modelo árbitro evalúa y sintetiza las respuestas individuales, y el proceso se repite hasta alcanzar un umbral de confianza o un límite de iteraciones. El enfoque parte de la idea de que suele ser más fácil comprobar respuestas candidatas que generar una, por lo que combinar varios modelos puede ayudar con problemas difíciles.
¿llm-consortium es gratuito? ¿Qué licencia tiene?
llm-consortium es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿llm-consortium sigue mantenido?
Actualizado en los últimos 6 meses. El último commit de llm-consortium fue el 5 sept 2026.
¿Para qué puedo usar llm-consortium?
Obtener una respuesta más fiable a una pregunta difícil mediante la verificación cruzada de varios modelos. Comparar y clasificar resultados de distintos proveedores de LLM en un solo flujo de trabajo. Experimentar con estrategias de razonamiento con varios modelos desde la línea de comandos o código Python.
¿Cómo se instala llm-consortium?
Instala el CLI llm con uv: uv tool install llm Instala el plugin llm-consortium: llm install "llm-consortium" Comprueba que el comando consortium esté disponible: llm consortium --help
¿Dónde consigo llm-consortium?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/irthomasthomas/llm-consortium

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados