Repolode
投稿する
potamides

potamides/DeTikZify

科学図や手描きのスケッチを、コンパイル可能なTikZ/LaTeXグラフィックプログラムに変換するマルチモーダルLLM。

GitHub で見る公式サイト
スター
1,828
フォーク
93
未解決の Issue
17
最終コミット
2 か月前

これは何？

DeTikZifyは、スケッチや既存の図からTikZグラフィックプログラムを生成するマルチモーダル言語モデルです。ラフなスケッチから科学図を作成したり、画像しかなく元の意味情報を持つソースが存在しない図を再現したりする作業を容易にすることを目指しています。

このプロジェクトでは、単一のTikZプログラムをサンプリングし、コンパイル結果をラスタライズするほか、追加学習なしで一定の時間内に結果を反復的に改善するMCTSベースの推論手順を実行できるパイプラインAPIを備えたPythonパッケージを提供しています。また、TikZeroアダプターとTikZero+モデルを使ったテキスト条件付き生成にも対応し、コマンドラインから起動できるWeb UIも含まれています。

パッケージの利用には、TeX Live 2023の完全なインストール、ghostscript、popplerが必要です。モデルの重みとDaTikZデータセットはHugging Face Hubで公開されており、Hugging Face Spaceではホスト版のデモを利用できます。

主な機能

  • 01スケッチや図の画像からTikZプログラムを生成します。
  • 02生成したTikZコードをコンパイルしてラスタライズし、プレビューできます。
  • 03追加学習なしで出力を改善するMCTSベースの推論に対応しています。
  • 04TikZeroアダプターを介したテキスト条件付きの図生成に対応しています。
  • 05コマンドラインから起動できるWeb UIと、実行可能なサンプルスクリプトを備えています。

ユースケース

  • 手描きの図を、論文で編集可能なLaTeX図コードに変換する。
  • 画像しか残っていない科学図を再現する。
  • 学術的なイラストのテキストからTikZへの生成を試す。

クイックスタート

  1. 1

    pipでPythonパッケージをインストールする

    pip install 'detikzify[legacy] @ git+https://github.com/potamides/DeTikZify'
  2. 2

    パッケージマネージャーでフル版のTeX Live 2023、ghostscript、popplerをインストールする

  3. 3

    コマンドラインからWeb UIを起動する

    python -m detikzify.webui --light

使う前に知っておきたいこと

  • pipパッケージに加えて、フル版のTeX Live 2023とghostscript、popplerのインストールが必要です。
  • READMEによると、無料のColabプランで対応しているのは1bモデルのみのため、8bモデルには高性能なハードウェアが必要です。
  • TikZeroによるテキスト条件付き生成は、Web UIではなくプログラミングインターフェースからのみ利用できます。

トピック

#tikz#latex#multimodal#llm#scientific-figures#sketch-to-code#vision-language-model#draw#graph#huggingface

よくある質問

DeTikZify とは？
科学図や手描きのスケッチを、コンパイル可能なTikZ/LaTeXグラフィックプログラムに変換するマルチモーダルLLM。 DeTikZifyは、スケッチや既存の図からTikZグラフィックプログラムを生成するマルチモーダル言語モデルです。ラフなスケッチから科学図を作成したり、画像しかなく元の意味情報を持つソースが存在しない図を再現したりする作業を容易にすることを目指しています。
DeTikZify は無料で使えますか？ライセンスは？
DeTikZify は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
DeTikZify は今もメンテナンスされていますか？
半年以内に更新あり。DeTikZify の最終コミットは 2026年9月17日 です。
DeTikZify は何に使えますか？
手描きの図を、論文で編集可能なLaTeX図コードに変換する。 画像しか残っていない科学図を再現する。 学術的なイラストのテキストからTikZへの生成を試す。
DeTikZify のインストール方法は？
pipでPythonパッケージをインストールする: pip install 'detikzify[legacy] @ git+https://github.com/potamides/DeTikZify' パッケージマネージャーでフル版のTeX Live 2023、ghostscript、popplerをインストールする コマンドラインからWeb UIを起動する: python -m detikzify.webui --light
DeTikZify はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/potamides/DeTikZify

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト

Achuan-2 / SlideSCI

科学系スライド向けのWindows版PowerPointアドイン。図のキャプションやラベル、画像の整列、位置や書式のコピー＆ペースト、Markdown・LaTeXの挿入、ページの書き出しに対応。

生産性・アプリ#powerpoint#office-add-in#csharp
2671+5 今週96C#AGPL-3.0更新 14 日前