davidjurgens/potato

这是什么？

核心功能

• 01通过 YAML 定义标注任务，无需编写代码
• 02支持文本、音频、视频、图像和文档标注
• 03可在轨迹、步骤、片段和对比四个层级评估智能体运行
• 04支持 LLM 预标注与主动学习排序队列
• 05跟踪标注者一致性，支持黄金标准与注意力检查
• 06提供包含编码本、备忘录和案例的质性分析模式

适用场景

• 构建用于文本分类、命名实体识别或片段标注的 NLP 数据集
• 逐步评估 LLM 智能体或 RAG 流程的输出
• 在 Prolific 或 MTurk 上开展众包标注研究
• 使用自托管工具进行访谈或文档的质性编码

快速上手

1. 1

   从 PyPI 安装软件包

   pip install potato-annotation
2. 2

   使用示例配置启动服务器

   potato start examples/classification/single-choice/config.yaml -p 8000
3. 3

   在浏览器中打开 localhost 的 8000 端口

使用前须知

• !采用 GPL-3.0 许可证，这是一种 copyleft 许可证，衍生作品须以相同条款分发。
• !需要自行托管，因此你必须运行并维护 Python 服务器。

收录于专题

标签

常见问题

potato 是什么？

免费自托管的标注平台，覆盖 NLP、智能体评估与质性研究，通过 YAML 配置。 Potato 是一个可自托管的标注平台，可用于标注文本、音频、视频、图像和文档，也可用于评估 LLM 智能体的运行轨迹。任务通过 YAML 配置文件定义，搭建标注界面无需编写代码。项目还提供质性数据分析模式，包含可持续演进的编码本、备忘录和案例功能。

potato 可以免费使用吗？用的什么许可证？

potato 以 GPL-3.0 许可证开源。用于商业产品前，请先确认许可证条款。

potato 还在维护吗？

活跃维护中。potato 最近一次提交是在 2026年10月22日。

potato 适合用来做什么？

构建用于文本分类、命名实体识别或片段标注的 NLP 数据集 逐步评估 LLM 智能体或 RAG 流程的输出 在 Prolific 或 MTurk 上开展众包标注研究 使用自托管工具进行访谈或文档的质性编码

potato 怎么安装和运行？

从 PyPI 安装软件包: pip install potato-annotation 使用示例配置启动服务器: potato start examples/classification/single-choice/config.yaml -p 8000 在浏览器中打开 localhost 的 8000 端口

在哪里获取 potato？

源代码和安装说明在 GitHub 上：https://github.com/davidjurgens/potato