Plataforma open source de ingeniería de IA para depurar, evaluar, monitorear y optimizar agentes, aplicaciones con LLM y modelos de ML.
28,7 mil+97 esta semana6,6 milPythonApache-2.0Actualizado hace 5 horas
ianarawjo/ChainForge
Entorno visual basado en nodos para comparar prompts y modelos consultando varios LLM a la vez y evaluando sus respuestas.
- Estrellas
- 3,040
- Forks
- 261
- Issues abiertos
- 70
- Último commit
- hace 8 días
¿Qué es?
ChainForge es un entorno de flujo de datos para la ingeniería de prompts y la evaluación de respuestas de LLM. En lugar de conversar con un modelo a la vez, puedes crear un flujo en un lienzo, enviar la misma plantilla de prompt a varios modelos y comparar sus resultados, uno al lado del otro, con distintas variantes de prompts y configuraciones de modelos.
El mecanismo principal es combinatorio: los valores de entrada que se pasan a una plantilla de prompt se combinan entre sí y con los modelos seleccionados, lo que permite ejecutar cientos de consultas a la vez. Puedes adjuntar scripts de evaluación en Python para puntuar las respuestas y luego visualizar los resultados en gráficos de caja y bigotes o histogramas, además de exportar los datos a una hoja de cálculo.
ChainForge se ejecuta como un servidor local de Python con una interfaz en React, y también se puede usar desde el navegador en chainforge.ai/play. Entre los proveedores compatibles se incluyen OpenAI, Anthropic, Google Gemini, modelos locales alojados en Ollama, Azure OpenAI y Amazon Bedrock. Para otros proveedores, se pueden crear scripts personalizados.
Funciones clave
- 01Consultar varios LLM en una ejecución y comparar sus respuestas
- 02Generar permutaciones de prompts a partir de variables de plantilla y conjuntos de datos
- 03Puntuar respuestas con nodos de evaluación en Python
- 04Visualizar métricas numéricas y booleanas en gráficos
- 05Exportar resultados a una hoja de cálculo
- 06Incluye nodos RAG para cargar archivos, dividirlos en fragmentos, recuperar contenido y volver a ordenarlo
Casos de uso
- Elegir qué modelo funciona mejor para una tarea específica antes de decidirse por un proveedor
- Probar cómo los pequeños cambios en la redacción de un prompt afectan la calidad de los resultados con muchas entradas
- Ejecutar evaluaciones con valores de referencia, como comprobar respuestas matemáticas frente a los resultados esperados
- Generar en lote resultados de LLM parametrizados y exportarlos para analizarlos
Inicio rápido
- 1
Instala ChainForge con pip (Python 3.10 o superior).
pip install chainforge - 2
Inicia el servidor local.
chainforge serve - 3
Abre localhost:8000 en Chrome, Firefox, Edge o Brave.
Antes de usarlo
- La instalación local requiere Python 3.10 o superior.
- Algunas funciones, como los evaluadores de Python y los modelos locales de Ollama, solo están disponibles en la versión local, no en la versión web.
- Para usar todas las funciones de RAG del lado del servidor, se necesita una instalación adicional, y FAISS debe instalarse por separado.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es ChainForge?
- Entorno visual basado en nodos para comparar prompts y modelos consultando varios LLM a la vez y evaluando sus respuestas. ChainForge es un entorno de flujo de datos para la ingeniería de prompts y la evaluación de respuestas de LLM. En lugar de conversar con un modelo a la vez, puedes crear un flujo en un lienzo, enviar la misma plantilla de prompt a varios modelos y comparar sus resultados, uno al lado del otro, con distintas variantes de prompts y configuraciones de modelos.
- ¿ChainForge es gratuito? ¿Qué licencia tiene?
- ChainForge es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿ChainForge sigue mantenido?
- Mantenimiento activo. El último commit de ChainForge fue el 29 oct 2026.
- ¿Para qué puedo usar ChainForge?
- Elegir qué modelo funciona mejor para una tarea específica antes de decidirse por un proveedor Probar cómo los pequeños cambios en la redacción de un prompt afectan la calidad de los resultados con muchas entradas Ejecutar evaluaciones con valores de referencia, como comprobar respuestas matemáticas frente a los resultados esperados Generar en lote resultados de LLM parametrizados y exportarlos para analizarlos
- ¿Cómo se instala ChainForge?
- Instala ChainForge con pip (Python 3.10 o superior).: pip install chainforge Inicia el servidor local.: chainforge serve Abre localhost:8000 en Chrome, Firefox, Edge o Brave.
- ¿Dónde consigo ChainForge?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ianarawjo/ChainForge
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Plataforma open source de ingeniería de LLM para rastrear, evaluar y gestionar prompts, y depurar aplicaciones con LLM; se puede alojar en infraestructura propia.
37,1 mil+344 esta semana4,2 milTypeScriptOtherActualizado hace 6 horas
Toolkit unificado para evaluar modelos multimodales en tareas de imagen, video y audio, con más de 100 benchmarks y más de 30 backends de modelos.
4,5 mil+12 esta semana686PythonOtherBien mantenidoActualizado hace 19 horas
Plataforma de observabilidad de IA de código abierto y autohospedada para rastrear, evaluar y depurar aplicaciones y agentes basados en LLM.
12,2 mil+102 esta semana1,3 milPythonOtherActualizado hace 6 horas
Plantilla y guía para operar aplicaciones con LLM creadas con Prompt Flow en Azure AI Studio o Azure Machine Learning, desde la experimentación y evaluación hasta la implementación.
369277PythonOtherActualizado hace 2 meses
Formato de archivo Markdown para prompts de LLM, con runtimes para Python, TypeScript, Rust, C# y otros lenguajes, además de una extensión de VS Code para ejecutarlos y rastrearlos.
1,3 mil135RustMITBien mantenidoActualizado hace 4 días