OpenClawランタイム内でLLMエージェントを評価する、実環境優先のベンチマークハーネス。決定論的な採点と反復試行による信頼性指標を備えています。
Infini-AI-Lab/hermit
モデルやハーネスを変更せず、エージェントの外部レイヤーを進化させるハーネスアダプターを学習・評価・デプロイするフレームワーク。
- スター
- 498
- フォーク
- 45
- 未解決の Issue
- 11
- 最終コミット
- 4 時間前
これは何?
Hermitは、既存のAIエージェントを新しいタスクに適応させる、外部の学習可能なレイヤーであるハーネスアダプターを学習するためのフレームワークです。エージェントのモデルと元のハーネスはそのままに、アダプターには指示、スキル、メモリ、ツール、実行可能なコード、連携ロジックを含められ、タスクからのフィードバックをもとに更新できます。
このプロジェクトでは、Evolverがアダプターへの変更を提案して検証し、新しいバージョンとしてコミットする学習ループを提供します。現在はGEPA、SkillOpt、MetaWorld Model、Harness²、Continual Harnessなど、複数のハーネス進化手法に加え、アダプターの検証、学習、評価、デプロイ、変換を行うCLIを備えています。
アダプターは、Codexなど対応するエージェントホストのワークスペースにデプロイできるほか、Codex、Claude Code、pi、Hermes向けのネイティブプラグインに変換できます。OfficeQA、CL-Bench、ServeLearnBenchなどのベンチマーク用レシピが用意されており、モデルアカウントもGPUも不要なオフラインのクイックスタートも実行できます。
主な機能
- 01元のモデルやハーネスを変更せずに、外部ハーネスアダプターを学習できます。
- 02GEPAやSkillOptを含む、複数のハーネス進化手法に対応しています。
- 03アダプターの検証、学習、評価、デプロイを行うCLIを提供します。
- 04アダプターをCodex、Claude Code、pi、Hermes向けのネイティブプラグインに変換できます。
- 05モデルアカウントもGPUも不要なオフラインのクイックスタートを利用できます。
ユースケース
- タスクからのフィードバックを使って、クローズドソースのコーディングエージェントを新しいタスクに適応させる。
- 共通のベンチマークパイプラインでハーネス進化手法を比較する。
- 学習したエージェントの適応機能を、別のエージェントホスト向けプラグインとしてパッケージ化する。
クイックスタート
- 1
リポジトリを clone します(Python 3.11 以降と Git が必要です)
git clone https://github.com/Infini-AI-Lab/hermit.git - 2
チェックアウトしたディレクトリに移動し、仮想環境で Hermit を editable モードでインストールします
python -m pip install -e . - 3
オフラインのローカル学習チュートリアルを実行します(モデルアカウント、GPU、データセットは不要です)
hermit train --config docs/_examples/first_training/run.yaml
使う前に知っておきたいこと
- バージョン 0.1.0 はまだ初期段階で、プロジェクトも新しく、スター数は少ないです。
- オフラインデモのスコア向上は作為的に作られたもので、実際のモデルの性能を示す結果ではありません。
- 一部の手法には追加の依存関係が必要です。また、サンドボックス化された agent Evolvers には bubblewrap を備えた Linux が必要です。
トピック
よくある質問
- hermit とは?
- モデルやハーネスを変更せず、エージェントの外部レイヤーを進化させるハーネスアダプターを学習・評価・デプロイするフレームワーク。 Hermitは、既存のAIエージェントを新しいタスクに適応させる、外部の学習可能なレイヤーであるハーネスアダプターを学習するためのフレームワークです。エージェントのモデルと元のハーネスはそのままに、アダプターには指示、スキル、メモリ、ツール、実行可能なコード、連携ロジックを含められ、タスクからのフィードバックをもとに更新できます。
- hermit は無料で使えますか?ライセンスは?
- hermit は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- hermit は今もメンテナンスされていますか?
- 活発にメンテナンス中。hermit の最終コミットは 2026年11月7日 です。
- hermit は何に使えますか?
- タスクからのフィードバックを使って、クローズドソースのコーディングエージェントを新しいタスクに適応させる。 共通のベンチマークパイプラインでハーネス進化手法を比較する。 学習したエージェントの適応機能を、別のエージェントホスト向けプラグインとしてパッケージ化する。
- hermit のインストール方法は?
- リポジトリを clone します(Python 3.11 以降と Git が必要です): git clone https://github.com/Infini-AI-Lab/hermit.git チェックアウトしたディレクトリに移動し、仮想環境で Hermit を editable モードでインストールします: python -m pip install -e . オフラインのローカル学習チュートリアルを実行します(モデルアカウント、GPU、データセットは不要です): hermit train --config docs/_examples/first_training/run.yaml
- hermit はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/Infini-AI-Lab/hermit
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
ドメインに特化したエージェントチームを設計し、エージェント定義とスキルを生成するClaude Codeプラグインです。
SlackとWebで使える、個人・ルームごとにワークスペースを分離したチーム向けセルフホスト型マルチプレイヤーAIエージェント。
AIエージェント向けのローカルAPIプロキシ。セッションを記録し、ユーザー、エージェント、デバイス間で共有スキルライブラリを成長させます。
QQなどのチャットボットにLLMチャット機能を追加するKoishiプラグイン。多数のモデルプロバイダー、プリセット、複数の出力形式に対応。
CLI、ブラウザー、チャットアプリから利用でき、永続的なメモリ、アイデンティティ、学習していくスキルを備えたAIエージェントを構築するための、状態を保持するエージェントハーネス。