Um harness de benchmark com foco em execução real para avaliar agentes LLM no runtime do OpenClaw, com avaliação determinística e métricas de confiabilidade em testes repetidos.
Infini-AI-Lab/hermit
Framework para treinar, avaliar e implantar harness adapters que evoluem uma camada externa ao redor de um agente sem alterar seu modelo ou harness.
- Estrelas
- 491
- Forks
- 45
- Issues abertas
- 11
- Último commit
- há 23 horas
O que é?
Hermit é um framework para treinar harness adapters: camadas externas treináveis que adaptam um agente de IA existente a novas tarefas. O modelo do agente e seu harness original permanecem inalterados, enquanto o adapter pode incluir instruções, skills, memória, ferramentas, código executável e lógica de coordenação, atualizados com base no feedback das tarefas.
O projeto oferece um ciclo de treinamento no qual um Evolver propõe alterações no adapter, verifica essas alterações e as registra como novas versões. Atualmente, inclui vários métodos de evolução de harness, entre eles GEPA, SkillOpt, MetaWorld Model, Harness² e Continual Harness, além de uma interface de linha de comando para verificar, treinar, avaliar, implantar e converter adapters.
Os adapters podem ser implantados em um workspace para hosts de agentes compatíveis, como o Codex, ou convertidos em plugins nativos para Codex, Claude Code, pi e Hermes. As receitas abrangem benchmarks como OfficeQA, CL-Bench e ServeLearnBench, e o início rápido offline funciona sem uma conta de modelo ou GPU.
Recursos principais
- 01Treina harness adapters externos sem modificar o modelo ou o harness original.
- 02Oferece suporte a vários métodos de evolução de harness, incluindo GEPA e SkillOpt.
- 03Disponibiliza uma CLI para verificar, treinar, avaliar e implantar adapters.
- 04Converte adapters em plugins nativos para Codex, Claude Code, pi e Hermes.
- 05Inclui um início rápido offline que não exige conta de modelo nem GPU.
Casos de uso
- Adaptar um agente de programação de código fechado a uma nova tarefa usando o feedback das tarefas.
- Comparar métodos de evolução de harness em pipelines de benchmark compartilhados.
- Empacotar uma adaptação aprendida de agente como plugin para outro host de agentes.
Início rápido
- 1
Clone o repositório (é necessário ter Python 3.11 ou superior e Git)
git clone https://github.com/Infini-AI-Lab/hermit.git - 2
Acesse o diretório do checkout e instale o Hermit em modo editable em um ambiente virtual
python -m pip install -e . - 3
Execute o tutorial de treinamento local offline (não é necessária uma conta de modelo, GPU ou conjunto de dados)
hermit train --config docs/_examples/first_training/run.yaml
Antes de usar
- A versão 0.1.0 ainda está em estágio inicial, e o projeto é novo e tem poucas estrelas.
- O aumento de pontuação da demonstração offline foi construído artificialmente e não representa o desempenho de um modelo real.
- Alguns métodos precisam de dependências adicionais, e Evolvers de agentes em sandbox exigem Linux com bubblewrap.
Tópicos
Perguntas frequentes
- O que é hermit?
- Framework para treinar, avaliar e implantar harness adapters que evoluem uma camada externa ao redor de um agente sem alterar seu modelo ou harness. Hermit é um framework para treinar harness adapters: camadas externas treináveis que adaptam um agente de IA existente a novas tarefas. O modelo do agente e seu harness original permanecem inalterados, enquanto o adapter pode incluir instruções, skills, memória, ferramentas, código executável e lógica de coordenação, atualizados com base no feedback das tarefas.
- hermit é gratuito? Qual é a licença?
- hermit é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- hermit ainda é mantido?
- Manutenção ativa. O último commit de hermit foi em 6 de nov. de 2026.
- Para que posso usar hermit?
- Adaptar um agente de programação de código fechado a uma nova tarefa usando o feedback das tarefas. Comparar métodos de evolução de harness em pipelines de benchmark compartilhados. Empacotar uma adaptação aprendida de agente como plugin para outro host de agentes.
- Como instalar hermit?
- Clone o repositório (é necessário ter Python 3.11 ou superior e Git): git clone https://github.com/Infini-AI-Lab/hermit.git Acesse o diretório do checkout e instale o Hermit em modo editable em um ambiente virtual: python -m pip install -e . Execute o tutorial de treinamento local offline (não é necessária uma conta de modelo, GPU ou conjunto de dados): hermit train --config docs/_examples/first_training/run.yaml
- Onde consigo hermit?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Infini-AI-Lab/hermit
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Plugin do Claude Code que projeta equipes de agentes específicas para cada domínio e gera as definições e skills usadas por elas.
Agente de IA multiplayer e self-hosted para equipes, acessível pelo Slack e pela web, com workspaces isolados por pessoa e por sala.
Proxy de API local para agentes de IA que registra sessões e aprimora bibliotecas de skills compartilhadas entre usuários, agentes e dispositivos.
Plugin de bot para Koishi que adiciona conversas com LLM ao QQ e a outros bots de chat, com vários provedores de modelos, presets e formatos de saída.
Um harness com estado para criar agentes de IA com memória persistente, identidade e skills que evoluem com o tempo, acessíveis por CLI, navegador ou apps de chat.