Repolode
dwzhu-pku

dwzhu-pku/PaperBanana

LLMと画像生成を活用し、手法の説明文と図のキャプションから論文掲載向けの図やプロットを作成するマルチエージェントフレームワーク。

スター
7,332
フォーク
553
未解決の Issue
1
最終コミット
昨日

これは何?

PaperBananaは、参考例を活用して学術論文向けの図を生成するマルチエージェントシステムです。手法の説明と図のキャプションを入力すると、Retriever、Planner、Stylist、Visualizer、Criticの各エージェントがパイプラインを実行します。RetrieverはPaperBananaBenchデータセットから関連する例を取得し、Plannerは図の詳細な説明を作成します。Stylistは学術的な美的慣習に沿うよう説明を調整し、Visualizerが画像を生成します。Criticが画像をレビューし、その結果をもとにVisualizerが生成を繰り返します。

実行方法は複数用意されています。GradioのWebアプリ、複数の候補を並列生成して画像を2Kまたは4Kに高解像度化できるStreamlitデモ、そして単一のシンプルな呼び出しからフルパイプラインまで、実験モードを選べるCLIを利用できます。Google Geminiに直接接続するほか、複数プロバイダーのモデルを利用できるOpenRouterにも対応しています。

このリポジトリはGoogle ResearchのPaperVizAgentをフォークしたもので、ライセンスはApache-2.0です。現時点では、コンピューターサイエンス分野の図とmatplotlib風のプロットを対象としており、統計プロットの生成はTODOとして記載されています。

主な機能

  • 01検索、計画、スタイル調整、画像生成、批評を担う5エージェントのパイプライン。
  • 02PaperBananaBenchデータセットからfew-shot用の参考例を取得。
  • 03CriticとVisualizerが複数ラウンドを繰り返し、生成結果を改善。
  • 04Streamlit UIでは最大20個の候補を並列生成し、画像を2Kまたは4Kに高解像度化。
  • 05モデルプロバイダーとしてGoogle GeminiとOpenRouterに対応。
  • 06実験モードを選択できるCLI。

ユースケース

  • 論文の本文とキャプションをもとに、アーキテクチャ図や手法図の草案を作成する。
  • 複数の図の候補を生成し、投稿用に最適なものを選ぶ。
  • 既存の生成図を高解像度化したり、編集したりする。
  • PaperBananaBenchデータセットを使って、図生成パイプラインをベンチマークする。

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/dwzhu-pku/PaperBanana.git
  2. 2

    uvで仮想環境を作成する

    uv venv
  3. 3

    必要なパッケージをインストールする

    uv pip install -r requirements.txt
  4. 4

    configs/model_config.yamlにAPIキーを設定し、Gradioウェブアプリを起動する

    python app.py

使う前に知っておきたいこと

  • OpenRouterまたはGoogle GeminiのAPIキーが必要なため、利用には外部の有料モデルサービスが必要です。
  • 生成の信頼性にはまだ限界があり、READMEには、より信頼性が高く多様な結果を得るにはまだ長い道のりがあると記載されています。
  • 一度に多数の候補を生成するには、高い同時実行数に対応したAPIキーが必要です。

トピック

よくある質問

PaperBanana とは?
LLMと画像生成を活用し、手法の説明文と図のキャプションから論文掲載向けの図やプロットを作成するマルチエージェントフレームワーク。 PaperBananaは、参考例を活用して学術論文向けの図を生成するマルチエージェントシステムです。手法の説明と図のキャプションを入力すると、Retriever、Planner、Stylist、Visualizer、Criticの各エージェントがパイプラインを実行します。RetrieverはPaperBananaBenchデータセットから関連する例を取得し、Plannerは図の詳細な説明を作成します。Stylistは学術的な美的慣習に沿うよう説明を調整し、Visualizerが画像を生成します。Criticが画像をレビューし、その結果をもとにVisualizerが生成を繰り返します。
PaperBanana は無料で使えますか?ライセンスは?
PaperBanana は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
PaperBanana は今もメンテナンスされていますか?
活発にメンテナンス中。PaperBanana の最終コミットは 2026年10月19日 です。
PaperBanana は何に使えますか?
論文の本文とキャプションをもとに、アーキテクチャ図や手法図の草案を作成する。 複数の図の候補を生成し、投稿用に最適なものを選ぶ。 既存の生成図を高解像度化したり、編集したりする。 PaperBananaBenchデータセットを使って、図生成パイプラインをベンチマークする。
PaperBanana のインストール方法は?
リポジトリをクローンする: git clone https://github.com/dwzhu-pku/PaperBanana.git uvで仮想環境を作成する: uv venv 必要なパッケージをインストールする: uv pip install -r requirements.txt configs/model_config.yamlにAPIキーを設定し、Gradioウェブアプリを起動する: python app.py
PaperBanana はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/dwzhu-pku/PaperBanana

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト