Arnés de benchmarks con prioridad en ejecuciones reales para evaluar agentes LLM en el runtime de OpenClaw, con calificación determinista y métricas de confiabilidad basadas en pruebas repetidas.
Infini-AI-Lab/hermit
Framework para entrenar, evaluar y desplegar adaptadores de harness que evolucionan una capa externa alrededor de un agente sin modificar su modelo ni su harness.
- Estrellas
- 463
- Forks
- 42
- Issues abiertos
- 11
- Último commit
- hace 18 horas
¿Qué es?
Hermit es un framework para entrenar adaptadores de harness: capas externas y entrenables que adaptan un agente de IA existente a nuevas tareas. El modelo del agente y su harness original permanecen sin cambios, mientras que el adaptador puede incluir instrucciones, habilidades, memoria, herramientas, código ejecutable y lógica de coordinación que se actualizan a partir de la retroalimentación sobre las tareas.
El proyecto ofrece un ciclo de entrenamiento en el que un Evolver propone cambios para el adaptador, los comprueba y los incorpora como nuevas versiones. Actualmente incluye varios métodos de evolución de harness, entre ellos GEPA, SkillOpt, MetaWorld Model, Harness² y Continual Harness, además de una interfaz de línea de comandos para comprobar, entrenar, evaluar, desplegar y convertir adaptadores.
Los adaptadores se pueden desplegar en un workspace para hosts de agentes compatibles, como Codex, o convertirse en plugins nativos para Codex, Claude Code, pi y Hermes. Las recetas abarcan benchmarks como OfficeQA, CL-Bench y ServeLearnBench, y la guía de inicio rápido sin conexión funciona sin una cuenta de modelo ni GPU.
Funciones clave
- 01Entrena adaptadores de harness externos sin modificar el modelo ni el harness originales.
- 02Admite varios métodos de evolución de harness, como GEPA y SkillOpt.
- 03Ofrece una CLI para comprobar, entrenar, evaluar y desplegar adaptadores.
- 04Convierte adaptadores en plugins nativos para Codex, Claude Code, pi y Hermes.
- 05Incluye una guía de inicio rápido sin conexión que no requiere una cuenta de modelo ni GPU.
Casos de uso
- Adaptar a una nueva tarea un agente de programación de código cerrado mediante la retroalimentación sobre las tareas.
- Comparar métodos de evolución de harness con pipelines de benchmark compartidos.
- Empaquetar como plugin para otro host de agentes una adaptación aprendida de un agente.
Inicio rápido
- 1
Clona el repositorio (se necesitan Python 3.11 o posterior y Git)
git clone https://github.com/Infini-AI-Lab/hermit.git - 2
Accede al directorio del checkout e instala Hermit en modo editable dentro de un entorno virtual
python -m pip install -e . - 3
Ejecuta la guía de entrenamiento local sin conexión (no necesitas una cuenta de modelo, GPU ni conjunto de datos)
hermit train --config docs/_examples/first_training/run.yaml
Antes de usarlo
- La versión 0.1.0 está en una fase inicial y el proyecto es joven, con pocas estrellas.
- La mejora de puntuación de la demo sin conexión está construida artificialmente y no refleja el rendimiento de un modelo real.
- Algunos métodos necesitan dependencias adicionales, y los Evolvers de agentes aislados en un sandbox requieren Linux con bubblewrap.
Temas
Preguntas frecuentes
- ¿Qué es hermit?
- Framework para entrenar, evaluar y desplegar adaptadores de harness que evolucionan una capa externa alrededor de un agente sin modificar su modelo ni su harness. Hermit es un framework para entrenar adaptadores de harness: capas externas y entrenables que adaptan un agente de IA existente a nuevas tareas. El modelo del agente y su harness original permanecen sin cambios, mientras que el adaptador puede incluir instrucciones, habilidades, memoria, herramientas, código ejecutable y lógica de coordinación que se actualizan a partir de la retroalimentación sobre las tareas.
- ¿hermit es gratuito? ¿Qué licencia tiene?
- hermit es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿hermit sigue mantenido?
- Mantenimiento activo. El último commit de hermit fue el 5 nov 2026.
- ¿Para qué puedo usar hermit?
- Adaptar a una nueva tarea un agente de programación de código cerrado mediante la retroalimentación sobre las tareas. Comparar métodos de evolución de harness con pipelines de benchmark compartidos. Empaquetar como plugin para otro host de agentes una adaptación aprendida de un agente.
- ¿Cómo se instala hermit?
- Clona el repositorio (se necesitan Python 3.11 o posterior y Git): git clone https://github.com/Infini-AI-Lab/hermit.git Accede al directorio del checkout e instala Hermit en modo editable dentro de un entorno virtual: python -m pip install -e . Ejecuta la guía de entrenamiento local sin conexión (no necesitas una cuenta de modelo, GPU ni conjunto de datos): hermit train --config docs/_examples/first_training/run.yaml
- ¿Dónde consigo hermit?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/Infini-AI-Lab/hermit
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Un plugin de Claude Code que diseña equipos de agentes específicos de un dominio y genera sus definiciones y las skills que utilizan.
Agente de IA multiusuario y autohospedado para equipos, disponible en Slack y en la web, con espacios de trabajo aislados por persona y sala.
Un proxy de API local para agentes de IA que registra sesiones y hace evolucionar bibliotecas de skills compartidas entre usuarios, agentes y dispositivos.
Un plugin de Koishi que añade chat con LLM a QQ y otros bots de chat, con numerosos proveedores de modelos, presets y varios formatos de salida.
Un entorno para crear agentes de IA con memoria persistente, identidad y habilidades que aprenden con el tiempo, accesible desde CLI, navegador o apps de chat.