Бенчмарк для оценки LLM-агентов непосредственно в среде выполнения OpenClaw с детерминированной проверкой результатов и метриками надежности по повторным запускам.
Infini-AI-Lab/hermit
Фреймворк для обучения, оценки и развёртывания адаптеров harness, которые развиваются как внешний слой вокруг агента, не меняя его модель и harness.
- Звёзды
- 498
- Форки
- 45
- Открытые issues
- 11
- Последний коммит
- 4 часа назад
Что это?
Hermit — фреймворк для обучения адаптеров harness: внешних обучаемых слоёв, которые адаптируют существующего AI-агента к новым задачам. Модель агента и исходный harness остаются без изменений, а адаптер может включать инструкции, навыки, память, инструменты, исполняемый код и логику координации, которые обновляются на основе обратной связи по задачам.
В проекте есть цикл обучения: Evolver предлагает изменения адаптера, проверяет их и фиксирует в новых версиях. Сейчас доступны несколько методов эволюции harness, в том числе GEPA, SkillOpt, MetaWorld Model, Harness² и Continual Harness, а также CLI для проверки, обучения, оценки, развёртывания и преобразования адаптеров.
Адаптеры можно развёртывать в рабочей среде для поддерживаемых хостов агентов, например Codex, или преобразовывать в нативные плагины для Codex, Claude Code, pi и Hermes. Рецепты охватывают такие бенчмарки, как OfficeQA, CL-Bench и ServeLearnBench, а автономный быстрый старт работает без учётной записи для модели и GPU.
Ключевые возможности
- 01Обучает внешние адаптеры harness, не меняя исходную модель или harness.
- 02Поддерживает несколько методов эволюции harness, включая GEPA и SkillOpt.
- 03Предоставляет CLI для проверки, обучения, оценки и развёртывания адаптеров.
- 04Преобразует адаптеры в нативные плагины для Codex, Claude Code, pi и Hermes.
- 05Включает автономный быстрый старт, для которого не нужны учётная запись для модели или GPU.
Сценарии использования
- Адаптация закрытого coding-агента к новой задаче с помощью обратной связи по задачам.
- Сравнение методов эволюции harness на общих бенчмарковых пайплайнах.
- Упаковка обученной адаптации агента в плагин для другого хоста агентов.
Быстрый старт
- 1
Клонируйте репозиторий (требуются Python 3.11 или новее и Git)
git clone https://github.com/Infini-AI-Lab/hermit.git - 2
Перейдите в каталог checkout и установите Hermit в editable-режиме в виртуальном окружении
python -m pip install -e . - 3
Запустите офлайн-инструкцию по локальному обучению (учётная запись модели, GPU и набор данных не нужны)
hermit train --config docs/_examples/first_training/run.yaml
Что важно знать
- Версия 0.1.0 находится на ранней стадии, проект новый и пока набрал мало звёзд.
- Рост оценки в офлайн-демо создан искусственно и не отражает результаты работы реальной модели.
- Для некоторых методов нужны дополнительные зависимости, а для Evolvers агентов в песочнице требуется Linux с bubblewrap.
Темы
Частые вопросы
- Что такое hermit?
- Фреймворк для обучения, оценки и развёртывания адаптеров harness, которые развиваются как внешний слой вокруг агента, не меняя его модель и harness. Hermit — фреймворк для обучения адаптеров harness: внешних обучаемых слоёв, которые адаптируют существующего AI-агента к новым задачам. Модель агента и исходный harness остаются без изменений, а адаптер может включать инструкции, навыки, память, инструменты, исполняемый код и логику координации, которые обновляются на основе обратной связи по задачам.
- hermit можно использовать бесплатно? Какая у него лицензия?
- hermit распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- hermit всё ещё поддерживается?
- Активно поддерживается. Последний коммит в hermit — 7 нояб. 2026 г..
- Для чего можно использовать hermit?
- Адаптация закрытого coding-агента к новой задаче с помощью обратной связи по задачам. Сравнение методов эволюции harness на общих бенчмарковых пайплайнах. Упаковка обученной адаптации агента в плагин для другого хоста агентов.
- Как установить hermit?
- Клонируйте репозиторий (требуются Python 3.11 или новее и Git): git clone https://github.com/Infini-AI-Lab/hermit.git Перейдите в каталог checkout и установите Hermit в editable-режиме в виртуальном окружении: python -m pip install -e . Запустите офлайн-инструкцию по локальному обучению (учётная запись модели, GPU и набор данных не нужны): hermit train --config docs/_examples/first_training/run.yaml
- Где скачать hermit?
- Исходный код и инструкции по установке — на GitHub: https://github.com/Infini-AI-Lab/hermit
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Плагин для Claude Code, который проектирует специализированные команды агентов и генерирует определения агентов и используемые ими навыки.
Самостоятельно размещаемый мультиплеерный AI-агент для команд, доступный в Slack и веб-приложении, с изолированными рабочими пространствами для каждого пользователя и комнаты.
Плагин для Koishi, который добавляет LLM-чат в QQ и другие боты и поддерживает множество провайдеров моделей, пресеты и разные форматы ответов.
Локальный API-прокси для AI-агентов, который записывает сессии и развивает общие библиотеки навыков для разных пользователей, агентов и устройств.
Среда для создания и запуска ИИ-агентов с постоянной памятью, идентичностью и навыками, которые развиваются со временем; доступна через CLI, браузер и чаты.