Repolode
Предложить
davidjurgens

davidjurgens/potato

Бесплатная self-hosted платформа для аннотирования, оценки агентов и качественных исследований, настраиваемая через YAML.

Open source альтернатива:Label StudioNVivoATLAS.ti

Открыть на GitHubСайт
Звёзды
437
Форки
79
Открытые issues
0
Последний коммит
вчера

Что это?

Potato — self-hosted платформа для разметки текста, аудио, видео, изображений и документов, а также оценки трасс LLM-агентов. Задания задаются в YAML-файле конфигурации, поэтому для настройки интерфейса разметки не нужно писать код. Также предусмотрен режим качественного анализа данных с постоянно обновляемым кодбуком, заметками и кейсами.

Помимо классической разметки, Potato импортирует трассы из множества фреймворков для агентов (OpenAI, Anthropic, LangChain, LangGraph, CrewAI, MCP и других) и поддерживает оценку на уровне шагов и фрагментов, а также параллельное сравнение. Данные можно предварительно размечать с помощью LLM-бэкендов, таких как OpenAI, Anthropic, Ollama и vLLM; переставлять задания в очереди с помощью активного обучения; отслеживать согласованность и качество работы аннотаторов.

Potato поддерживает несколько способов аутентификации, включая OAuth/SSO и базу данных, и содержит команды для развёртывания в разных облачных средах и HuggingFace Spaces. Проект распространяется по лицензии GPL-3.0 и устанавливается из PyPI как potato-annotation.

Ключевые возможности

  • 01Задавайте задания для аннотирования в YAML без написания кода
  • 02Размечайте текст, аудио, видео, изображения и документы
  • 03Оценивайте трассы агентов на уровне траектории, шагов и фрагментов, а также сравнивайте их
  • 04Предварительно размечайте данные с помощью LLM-бэкендов и упорядочивайте очередь методом активного обучения
  • 05Отслеживайте согласованность разметки между аннотаторами, эталонные ответы и проверки внимания
  • 06Режим качественного анализа с кодбуком, заметками и кейсами

Сценарии использования

  • Создание датасетов для NLP-задач классификации, NER или разметки фрагментов
  • Пошаговая оценка результатов работы LLM-агентов или RAG-конвейеров
  • Проведение краудсорсинговых исследований по аннотированию на Prolific или MTurk
  • Качественный анализ интервью или документов с помощью self-hosted инструмента

Быстрый старт

  1. 1

    Установите пакет из PyPI

    pip install potato-annotation
  2. 2

    Запустите сервер с примером config

    potato start examples/classification/single-choice/config.yaml -p 8000
  3. 3

    Откройте приложение в браузере по адресу localhost, порт 8000

Что важно знать

  • Лицензия GPL-3.0 — это лицензия с копилефтом, требующая распространять производные работы на тех же условиях.
  • Вы размещаете приложение самостоятельно, поэтому должны запускать и обслуживать сервер Python.

В подборках

Open source фреймворки и приложения для ИИ-агентовФреймворки тестирования и инструменты автоматизации тестовИнструменты и библиотеки обработки естественного языка

Темы

#annotation#data-labeling#nlp#llm-evaluation#ai-agents#qualitative-research#active-learning#crowdsourcing#agentic-ai#agentic-workflow

Частые вопросы

Что такое potato?
Бесплатная self-hosted платформа для аннотирования, оценки агентов и качественных исследований, настраиваемая через YAML. Potato — self-hosted платформа для разметки текста, аудио, видео, изображений и документов, а также оценки трасс LLM-агентов. Задания задаются в YAML-файле конфигурации, поэтому для настройки интерфейса разметки не нужно писать код. Также предусмотрен режим качественного анализа данных с постоянно обновляемым кодбуком, заметками и кейсами.
potato можно использовать бесплатно? Какая у него лицензия?
potato распространяется с открытым исходным кодом под лицензией GPL-3.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
potato всё ещё поддерживается?
Активно поддерживается. Последний коммит в potato — 22 окт. 2026 г..
Для чего можно использовать potato?
Создание датасетов для NLP-задач классификации, NER или разметки фрагментов Пошаговая оценка результатов работы LLM-агентов или RAG-конвейеров Проведение краудсорсинговых исследований по аннотированию на Prolific или MTurk Качественный анализ интервью или документов с помощью self-hosted инструмента
Как установить potato?
Установите пакет из PyPI: pip install potato-annotation Запустите сервер с примером config: potato start examples/classification/single-choice/config.yaml -p 8000 Откройте приложение в браузере по адресу localhost, порт 8000
Где скачать potato?
Исходный код и инструкции по установке — на GitHub: https://github.com/davidjurgens/potato

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты