用于评测大模型作为自主智能体能力的评测框架,包含 300 个人工验证任务。
preferencemodel/karotte
一个用于构建稳健强化学习环境的开源 Python 框架,在隔离虚拟机中运行智能体任务。
- Star
- 186
- Fork
- 21
- 未关闭 Issue
- 9
- 最近提交
- 前天
这是什么?
Karotte 是由 Preference Model 开发的强化学习环境构建框架。环境基于模板创建,并定义模型需要逐步完成的任务。每次运行会构建镜像,在本地虚拟机中执行任务,并把运行记录写入 JSON 文件,可通过内置的 dashboard 查看。
默认在本地虚拟机中运行:macOS 使用 Apple container,Linux 使用 Firecracker。也可以通过 `--runtime modal` 在 Modal 上的虚拟机中运行,本地 Docker 或 Podman 同样可用。需要 Python 3.12+ 和 uv。`language-toolchains` 模板内置多种语言的编译器和运行时,其中包含部分 GPL、LGPL 许可的软件。
典型流程是创建环境、同步依赖、设置模型 API Key,然后用 `karotte run` 指定模型执行任务。项目采用 MIT 许可证,内置模板采用 MIT-0。
核心功能
- 01基于模板创建环境,内置带示例任务的 default 模板。
- 02在 macOS(Apple container)和 Linux(Firecracker)的本地虚拟机中运行任务。
- 03支持 Modal、Docker 和 Podman 作为替代运行时。
- 04将运行记录保存为 JSON,并提供 dashboard 查看。
- 05提供 language-toolchains 模板,内置多种编程语言的编译器。
适用场景
- 构建强化学习环境,用于评估或训练 AI 模型完成多步骤任务。
- 在隔离虚拟机中运行模型驱动的任务,保持执行环境沙箱化。
- 在同一任务上比较不同模型的表现,并查看其运行记录。
快速上手
- 1
使用 uv 安装 karotte 工具
uv tool install karotte - 2
从 default 模板创建环境
karotte create-env my_env - 3
进入目录,同步依赖并设置数据
cd my_env && uv sync --extra dev && uv run setup_data.py - 4
设置 Anthropic API 密钥并运行示例任务
export ANTHROPIC_API_KEY=... && uv run karotte run --task example-task --model anthropic/claude-opus-5-5
使用前须知
- 需要 Python 3.12+ 和 uv,并需要本地虚拟机运行时(macOS 上的 Apple container 或 Linux 上的 Firecracker),或 Modal、docker、podman。
- 运行示例任务需要 Anthropic API 密钥。
收录于专题
标签
常见问题
- karotte 是什么?
- 一个用于构建稳健强化学习环境的开源 Python 框架,在隔离虚拟机中运行智能体任务。 Karotte 是由 Preference Model 开发的强化学习环境构建框架。环境基于模板创建,并定义模型需要逐步完成的任务。每次运行会构建镜像,在本地虚拟机中执行任务,并把运行记录写入 JSON 文件,可通过内置的 dashboard 查看。
- karotte 可以免费使用吗?用的什么许可证?
- karotte 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- karotte 还在维护吗?
- 活跃维护中。karotte 最近一次提交是在 2026年11月5日。
- karotte 适合用来做什么?
- 构建强化学习环境,用于评估或训练 AI 模型完成多步骤任务。 在隔离虚拟机中运行模型驱动的任务,保持执行环境沙箱化。 在同一任务上比较不同模型的表现,并查看其运行记录。
- karotte 怎么安装和运行?
- 使用 uv 安装 karotte 工具: uv tool install karotte 从 default 模板创建环境: karotte create-env my_env 进入目录,同步依赖并设置数据: cd my_env && uv sync --extra dev && uv run setup_data.py 设置 Anthropic API 密钥并运行示例任务: export ANTHROPIC_API_KEY=... && uv run karotte run --task example-task --model anthropic/claude-opus-5-5
- 在哪里获取 karotte?
- 源代码和安装说明在 GitHub 上:https://github.com/preferencemodel/karotte
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
用于构建、部署和运行容器化智能体强化学习环境及其任务评分的 Python SDK 与命令行工具。
基于不确定性量化检测大语言模型幻觉的 Python 库,提供多类置信度评分器。
基于 ICML 2024 TrustLLM 基准的开源工具包,通过 CLI 和 Python 从六个维度评估大模型的可信度。
一款 Python 命令行工具,通过 61 项检测审计 AI 智能体是否按职责行事、能否抵御操纵、是否编造信息。
Python 库,用一行代码为 NLP 模型和大语言模型生成并运行鲁棒性、偏见、公平性等测试。