ianarawjo/ChainForge

O que é?

Recursos principais

• 01Consultar vários LLMs em uma única execução e comparar as respostas
• 02Gerar permutações de prompts a partir de variáveis de template e conjuntos de dados
• 03Pontuar respostas com nós de avaliação em Python
• 04Visualizar métricas numéricas e booleanas em gráficos
• 05Exportar resultados em formato de planilha
• 06Inclui nós de RAG para upload, divisão em trechos, recuperação e reordenação

Casos de uso

• Escolher o modelo com melhor desempenho para uma tarefa específica antes de se comprometer com um provedor
• Testar como pequenas mudanças na redação de um prompt afetam a qualidade das respostas em várias entradas
• Executar avaliações com respostas de referência, como conferir respostas de matemática com os resultados esperados
• Gerar em lote respostas de LLM parametrizadas e exportá-las para análise

Início rápido

1. 1

   Instale o ChainForge com pip (Python 3.10 ou superior).

   pip install chainforge
2. 2

   Inicie o servidor local.

   chainforge serve
3. 3

   Abra localhost:8000 no Chrome, Firefox, Edge ou Brave.

Antes de usar

• !A instalação local requer Python 3.10 ou superior.
• !Alguns recursos, como avaliadores de Python e modelos locais do Ollama, só estão disponíveis na versão local, não na versão web.
• !Para usar todos os recursos de RAG no lado do servidor, é necessária uma instalação adicional, e o FAISS deve ser instalado separadamente.

Em coleções

Tópicos

Perguntas frequentes

O que é ChainForge?

Ambiente visual baseado em nós para comparar prompts e modelos, consultando vários LLMs ao mesmo tempo e avaliando as respostas. ChainForge é um ambiente de fluxo de dados para engenharia de prompts e avaliação de respostas de LLMs. Em vez de conversar com um modelo por vez, você monta um fluxo em uma tela, envia o mesmo template de prompt para vários modelos e compara os resultados lado a lado, variando os prompts e as configurações dos modelos.

ChainForge é gratuito? Qual é a licença?

ChainForge é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

ChainForge ainda é mantido?

Manutenção ativa. O último commit de ChainForge foi em 29 de out. de 2026.

Para que posso usar ChainForge?

Escolher o modelo com melhor desempenho para uma tarefa específica antes de se comprometer com um provedor Testar como pequenas mudanças na redação de um prompt afetam a qualidade das respostas em várias entradas Executar avaliações com respostas de referência, como conferir respostas de matemática com os resultados esperados Gerar em lote respostas de LLM parametrizadas e exportá-las para análise

Como instalar ChainForge?

Instale o ChainForge com pip (Python 3.10 ou superior).: pip install chainforge Inicie o servidor local.: chainforge serve Abra localhost:8000 no Chrome, Firefox, Edge ou Brave.

Onde consigo ChainForge?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ianarawjo/ChainForge