自律エージェントとしてのLLMを評価するハーネス。完了度、安全性、堅牢性を基準に採点する、人手で検証済みの300タスクを収録。
preferencemodel/karotte
整合性のあるAIの学習に向け、エージェントのタスクを分離されたVM内で実行する堅牢なRL環境を構築する、オープンソースのPythonフレームワーク。
- スター
- 186
- フォーク
- 21
- 未解決の Issue
- 9
- 最終コミット
- 22 時間前
これは何?
KarotteはPreference Modelが開発した、強化学習環境を構築するためのフレームワークです。環境はテンプレートから作成し、AIモデルが段階的に取り組むタスクを定義します。実行ごとにイメージをビルドし、ローカルVM内でタスクを実行します。実行のトランスクリプトはJSONファイルに保存され、組み込みのダッシュボードで確認できます。
デフォルトではローカルVMで実行され、macOSではApple container、LinuxではFirecrackerを使用します。Modal上のVMで実行するためのModalランタイムも利用でき、ローカルのDockerやPodmanにも対応しています。Python 3.12以降とuvが必要です。`language-toolchains`テンプレートには多くの言語向けのコンパイラとランタイムが含まれており、一部のコンポーネントはGPLまたはLGPLです。
一般的な使い方は、`karotte create-env`を実行して依存関係を同期し、モデルのAPIキーを設定してから、モデルを指定して`karotte run`を呼び出す流れです。プロジェクトのライセンスはMITで、同梱テンプレートはMIT-0を採用しています。
主な機能
- 01テンプレートから環境を作成できます。デフォルトテンプレートにはサンプルタスクが含まれています。
- 02macOS(Apple container)とLinux(Firecracker)のローカルVM内でタスクを実行します。
- 03代替ランタイムとしてModal、Docker、Podmanに対応しています。
- 04実行のトランスクリプトをJSONに保存し、ダッシュボードで確認できます。
- 05多くのプログラミング言語向けコンパイラを含む`language-toolchains`テンプレートを用意しています。
ユースケース
- 複数ステップのタスクを通じてAIモデルを評価・学習するためのRL環境を構築する。
- 実行環境をサンドボックス化するため、モデル駆動のタスクを分離されたVM内で実行する。
- 同じタスクで異なるモデルの性能を比較し、それぞれのトランスクリプトを確認する。
クイックスタート
- 1
uvでkarotteツールをインストールする
uv tool install karotte - 2
デフォルトテンプレートから環境を作成する
karotte create-env my_env - 3
ディレクトリに移動し、依存関係を同期してデータをセットアップする
cd my_env && uv sync --extra dev && uv run setup_data.py - 4
Anthropic APIキーを設定して、サンプルタスクを実行する
export ANTHROPIC_API_KEY=... && uv run karotte run --task example-task --model anthropic/claude-opus-5-5
使う前に知っておきたいこと
- Python 3.12以降とuvが必要です。また、ローカルVMランタイム(macOSではApple container、LinuxではFirecracker)、またはModal、docker、podmanが必要です。
- サンプルタスクの実行にはAnthropic APIキーが必要です。
収録されている特集
トピック
よくある質問
- karotte とは?
- 整合性のあるAIの学習に向け、エージェントのタスクを分離されたVM内で実行する堅牢なRL環境を構築する、オープンソースのPythonフレームワーク。 KarotteはPreference Modelが開発した、強化学習環境を構築するためのフレームワークです。環境はテンプレートから作成し、AIモデルが段階的に取り組むタスクを定義します。実行ごとにイメージをビルドし、ローカルVM内でタスクを実行します。実行のトランスクリプトはJSONファイルに保存され、組み込みのダッシュボードで確認できます。
- karotte は無料で使えますか?ライセンスは?
- karotte は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- karotte は今もメンテナンスされていますか?
- 活発にメンテナンス中。karotte の最終コミットは 2026年11月5日 です。
- karotte は何に使えますか?
- 複数ステップのタスクを通じてAIモデルを評価・学習するためのRL環境を構築する。 実行環境をサンドボックス化するため、モデル駆動のタスクを分離されたVM内で実行する。 同じタスクで異なるモデルの性能を比較し、それぞれのトランスクリプトを確認する。
- karotte のインストール方法は?
- uvでkarotteツールをインストールする: uv tool install karotte デフォルトテンプレートから環境を作成する: karotte create-env my_env ディレクトリに移動し、依存関係を同期してデータをセットアップする: cd my_env && uv sync --extra dev && uv run setup_data.py Anthropic APIキーを設定して、サンプルタスクを実行する: export ANTHROPIC_API_KEY=... && uv run karotte run --task example-task --model anthropic/claude-opus-5-5
- karotte はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/preferencemodel/karotte
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
コンテナ化されたエージェント型RL環境と、その中でエージェントを評価するタスクの構築・デプロイ・実行に使えるPython SDKおよびCLI。
不確実性定量化を用いてLLMの回答に幻覚が含まれる可能性を評価するPythonライブラリ。ブラックボックス、ホワイトボックス、判定役、アンサンブルの各スコアラーを備えています。
ICML 2024 TrustLLMベンチマークに基づき、CLIとPythonでLLMの信頼性を6つの観点から評価するオープンな研究用ツールキット。
AIエージェントが役割を逸脱せず、操作に耐え、捏造を避けるかを61項目で監査するPython製CLI。
NLPモデルやLLMに対する堅牢性、バイアス、公平性、精度のテストを、1行のコードで生成・実行できるPythonライブラリ。