Repolode
Enviar
davidjurgens

davidjurgens/potato

Plataforma de anotación gratuita y autoalojada para NLP, evaluación de agentes e investigación cualitativa, configurable mediante YAML.

Alternativa open source a:Label StudioNVivoATLAS.ti

Ver en GitHubSitio web
Estrellas
437
Forks
79
Issues abiertos
0
Último commit
ayer

¿Qué es?

Potato es una plataforma de anotación autoalojada para etiquetar texto, audio, video, imágenes y documentos, así como para evaluar trazas de agentes LLM. Las tareas se definen en un archivo de configuración YAML, por lo que no hace falta programar para configurar una interfaz de etiquetado. También incluye un modo de análisis de datos cualitativos con un libro de códigos vivo, memos y casos.

Además del etiquetado tradicional, Potato importa trazas de muchos frameworks de agentes (OpenAI, Anthropic, LangChain, LangGraph, CrewAI, MCP y otros) y permite evaluarlas por pasos, por segmentos y en paralelo. Puede preetiquetar datos con backends LLM como OpenAI, Anthropic, Ollama y vLLM, reordenar colas mediante aprendizaje activo y hacer seguimiento de la concordancia y la calidad de los anotadores.

Potato admite varios métodos de autenticación, como OAuth/SSO y un backend de base de datos, e incluye comandos de despliegue para distintos proveedores de nube y HuggingFace Spaces. El proyecto está licenciado bajo GPL-3.0 y se puede instalar desde PyPI como potato-annotation.

Funciones clave

  • 01Definir tareas de anotación en YAML sin escribir código
  • 02Etiquetar texto, audio, video, imágenes y documentos
  • 03Evaluar trazas de agentes a nivel de trayectoria, paso, segmento y comparación
  • 04Preanotar con backends LLM y ordenar colas mediante aprendizaje activo
  • 05Hacer seguimiento de la concordancia entre anotadores, los estándares de referencia y las comprobaciones de atención
  • 06Modo de análisis cualitativo con libro de códigos, memos y casos

Casos de uso

  • Crear conjuntos de datos de NLP para clasificación, NER o etiquetado de segmentos
  • Evaluar paso a paso las salidas de agentes LLM o de pipelines RAG
  • Realizar estudios de anotación colaborativa en Prolific o MTurk
  • Codificar entrevistas o documentos para investigación cualitativa con una herramienta autoalojada

Inicio rápido

  1. 1

    Instala el paquete desde PyPI

    pip install potato-annotation
  2. 2

    Inicia el servidor con una config de ejemplo

    potato start examples/classification/single-choice/config.yaml -p 8000
  3. 3

    Abre la aplicación en el navegador en localhost, puerto 8000

Antes de usarlo

  • Tiene licencia GPL-3.0, una licencia copyleft que exige distribuir las obras derivadas bajo las mismas condiciones.
  • Debes alojarlo tú, así que tendrás que ejecutar y mantener el servidor Python.

En colecciones

Frameworks y apps de agentes de IA open sourceFrameworks de pruebas y herramientas de automatizaciónHerramientas y bibliotecas de procesamiento del lenguaje natural

Temas

#annotation#data-labeling#nlp#llm-evaluation#ai-agents#qualitative-research#active-learning#crowdsourcing#agentic-ai#agentic-workflow

Preguntas frecuentes

¿Qué es potato?
Plataforma de anotación gratuita y autoalojada para NLP, evaluación de agentes e investigación cualitativa, configurable mediante YAML. Potato es una plataforma de anotación autoalojada para etiquetar texto, audio, video, imágenes y documentos, así como para evaluar trazas de agentes LLM. Las tareas se definen en un archivo de configuración YAML, por lo que no hace falta programar para configurar una interfaz de etiquetado. También incluye un modo de análisis de datos cualitativos con un libro de códigos vivo, memos y casos.
¿potato es gratuito? ¿Qué licencia tiene?
potato es open source bajo la licencia GPL-3.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿potato sigue mantenido?
Mantenimiento activo. El último commit de potato fue el 22 oct 2026.
¿Para qué puedo usar potato?
Crear conjuntos de datos de NLP para clasificación, NER o etiquetado de segmentos Evaluar paso a paso las salidas de agentes LLM o de pipelines RAG Realizar estudios de anotación colaborativa en Prolific o MTurk Codificar entrevistas o documentos para investigación cualitativa con una herramienta autoalojada
¿Cómo se instala potato?
Instala el paquete desde PyPI: pip install potato-annotation Inicia el servidor con una config de ejemplo: potato start examples/classification/single-choice/config.yaml -p 8000 Abre la aplicación en el navegador en localhost, puerto 8000
¿Dónde consigo potato?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/davidjurgens/potato

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados