Repolode
davidjurgens

davidjurgens/potato

Plataforma gratuita e self-hosted de anotação para NLP, avaliação de agentes e pesquisa qualitativa, configurada com YAML.

Alternativa open source a:Label StudioNVivoATLAS.ti

Estrelas
437
Forks
79
Issues abertas
0
Último commit
ontem

O que é?

Potato é uma plataforma self-hosted de anotação para rotular textos, áudios, vídeos, imagens e documentos, além de avaliar traces de agentes LLM. As tarefas são definidas em um arquivo de configuração YAML, então não é preciso programar para configurar uma interface de anotação. A plataforma também inclui um modo de análise qualitativa de dados com codebook dinâmico, memos e casos.

Além da rotulagem tradicional, Potato importa traces de vários frameworks de agentes (OpenAI, Anthropic, LangChain, LangGraph, CrewAI, MCP e outros) e oferece avaliação por etapa, por span e lado a lado. A plataforma pode pré-rotular dados com backends de LLM como OpenAI, Anthropic, Ollama e vLLM, reordenar filas usando active learning e acompanhar a concordância e a qualidade entre anotadores.

Potato oferece vários métodos de autenticação, incluindo OAuth/SSO e um backend de banco de dados, além de comandos de deploy para diversos provedores de cloud e HuggingFace Spaces. O projeto é licenciado sob GPL-3.0 e pode ser instalado pelo PyPI como potato-annotation.

Recursos principais

  • 01Defina tarefas de anotação em YAML sem escrever código
  • 02Rotule textos, áudios, vídeos, imagens e documentos
  • 03Avalie traces de agentes nos níveis de trajetória, etapa, span e comparação
  • 04Faça pré-anotação com backends de LLM e ordene filas com active learning
  • 05Acompanhe a concordância entre anotadores, os padrões-ouro e as verificações de atenção
  • 06Modo de análise qualitativa com codebook, memos e casos

Casos de uso

  • Criar datasets de NLP para classificação, NER ou rotulagem de spans
  • Avaliar passo a passo os resultados de agentes LLM ou de pipelines RAG
  • Realizar estudos de anotação crowdsourced no Prolific ou MTurk
  • Fazer análise qualitativa de entrevistas ou codificação de documentos com uma ferramenta self-hosted

Início rápido

  1. 1

    Instale o pacote pelo PyPI

    pip install potato-annotation
  2. 2

    Inicie o servidor com uma config de exemplo

    potato start examples/classification/single-choice/config.yaml -p 8000
  3. 3

    Abra o app no navegador em localhost, na porta 8000

Antes de usar

  • Licenciado sob GPL-3.0, uma licença copyleft que exige que obras derivadas sejam distribuídas sob os mesmos termos.
  • Você mesmo hospeda o serviço, então precisa executar e manter o servidor Python.

Em coleções

Tópicos

Perguntas frequentes

O que é potato?
Plataforma gratuita e self-hosted de anotação para NLP, avaliação de agentes e pesquisa qualitativa, configurada com YAML. Potato é uma plataforma self-hosted de anotação para rotular textos, áudios, vídeos, imagens e documentos, além de avaliar traces de agentes LLM. As tarefas são definidas em um arquivo de configuração YAML, então não é preciso programar para configurar uma interface de anotação. A plataforma também inclui um modo de análise qualitativa de dados com codebook dinâmico, memos e casos.
potato é gratuito? Qual é a licença?
potato é open source sob a licença GPL-3.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
potato ainda é mantido?
Manutenção ativa. O último commit de potato foi em 22 de out. de 2026.
Para que posso usar potato?
Criar datasets de NLP para classificação, NER ou rotulagem de spans Avaliar passo a passo os resultados de agentes LLM ou de pipelines RAG Realizar estudos de anotação crowdsourced no Prolific ou MTurk Fazer análise qualitativa de entrevistas ou codificação de documentos com uma ferramenta self-hosted
Como instalar potato?
Instale o pacote pelo PyPI: pip install potato-annotation Inicie o servidor com uma config de exemplo: potato start examples/classification/single-choice/config.yaml -p 8000 Abra o app no navegador em localhost, na porta 8000
Onde consigo potato?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/davidjurgens/potato

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados