Repolode
投稿する
davidjurgens

davidjurgens/potato

YAMLで設定できる、NLP・エージェント評価・質的研究向けの無料セルフホスト型アノテーションプラットフォーム。

代替できる製品:Label StudioNVivoATLAS.ti

GitHub で見る公式サイト
スター
437
フォーク
79
未解決の Issue
0
最終コミット
昨日

これは何？

Potatoは、テキスト、音声、動画、画像、ドキュメントのラベリングや、LLMエージェントのトレース評価に使えるセルフホスト型アノテーションプラットフォームです。タスクはYAML設定ファイルで定義できるため、ラベリング用インターフェースの構築にコードは必要ありません。コードブック、メモ、ケースを備えた質的データ分析モードも用意されています。

従来のラベリングに加え、Potatoはさまざまなエージェントフレームワーク（OpenAI、Anthropic、LangChain、LangGraph、CrewAI、MCPなど）からトレースを取り込み、ステップ単位、スパン単位、並列比較による評価に対応しています。OpenAI、Anthropic、Ollama、vLLMなどのLLMバックエンドでデータに事前ラベルを付けたり、アクティブラーニングでキューの順序を変更したり、アノテーター間の一致度や品質を追跡したりできます。

PotatoはOAuth/SSOやデータベースバックエンドなど、複数の認証方式に対応しており、さまざまなクラウドホストやHuggingFace Spaces向けのデプロイコマンドも備えています。ライセンスはGPL-3.0で、PyPIからpotato-annotationとしてインストールできます。

主な機能

  • 01コードを書かずに、YAMLでアノテーションタスクを定義
  • 02テキスト、音声、動画、画像、ドキュメントにラベルを付与
  • 03軌跡、ステップ、スパン、比較の各レベルでエージェントのトレースを評価
  • 04LLMバックエンドによる事前アノテーションと、アクティブラーニングによるキュー順序の調整
  • 05アノテーター間の一致度、ゴールドスタンダード、注意力チェックを追跡
  • 06コードブック、メモ、ケースを備えた質的分析モード

ユースケース

  • 分類、NER、スパンラベリング用のNLPデータセットを構築
  • LLMエージェントやRAGパイプラインの出力をステップごとに評価
  • ProlificやMTurkでクラウドソーシングによるアノテーション調査を実施
  • セルフホスト型ツールでインタビューやドキュメントの質的コーディングを実施

クイックスタート

  1. 1

    PyPIからパッケージをインストールします

    pip install potato-annotation
  2. 2

    サンプルconfigを使ってサーバーを起動します

    potato start examples/classification/single-choice/config.yaml -p 8000
  3. 3

    ブラウザーでlocalhostのポート8000にアクセスしてアプリを開きます

使う前に知っておきたいこと

  • GPL-3.0ライセンスの下で提供されています。これはコピーレフトライセンスであり、派生物も同じ条件で配布する必要があります。
  • セルフホスト型のため、Pythonサーバーの実行と保守が必要です。

収録されている特集

オープンソースの AI エージェント・フレームワークとアプリテストフレームワークと自動テストツール自然言語処理ツールとライブラリ

トピック

#annotation#data-labeling#nlp#llm-evaluation#ai-agents#qualitative-research#active-learning#crowdsourcing#agentic-ai#agentic-workflow

よくある質問

potato とは？
YAMLで設定できる、NLP・エージェント評価・質的研究向けの無料セルフホスト型アノテーションプラットフォーム。 Potatoは、テキスト、音声、動画、画像、ドキュメントのラベリングや、LLMエージェントのトレース評価に使えるセルフホスト型アノテーションプラットフォームです。タスクはYAML設定ファイルで定義できるため、ラベリング用インターフェースの構築にコードは必要ありません。コードブック、メモ、ケースを備えた質的データ分析モードも用意されています。
potato は無料で使えますか？ライセンスは？
potato は GPL-3.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
potato は今もメンテナンスされていますか？
活発にメンテナンス中。potato の最終コミットは 2026年10月22日 です。
potato は何に使えますか？
分類、NER、スパンラベリング用のNLPデータセットを構築 LLMエージェントやRAGパイプラインの出力をステップごとに評価 ProlificやMTurkでクラウドソーシングによるアノテーション調査を実施 セルフホスト型ツールでインタビューやドキュメントの質的コーディングを実施
potato のインストール方法は？
PyPIからパッケージをインストールします: pip install potato-annotation サンプルconfigを使ってサーバーを起動します: potato start examples/classification/single-choice/config.yaml -p 8000 ブラウザーでlocalhostのポート8000にアクセスしてアプリを開きます
potato はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/davidjurgens/potato

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト