UIを自然な言葉で説明してライブ表示し、対応するLLMで繰り返し改善できます。
abi/screenshot-to-code
AIモデルを使って、スクリーンショット、モックアップ、Figmaデザイン、画面録画からHTML、Tailwind、React、Vueなどのフロントエンドコードを生成します。
- スター
- 80,547
- フォーク
- 9,842
- 未解決の Issue
- 148
- 最終コミット
- 11 日前
これは何?
screenshot-to-codeは、スクリーンショット、モックアップ、Figmaデザイン、画面録画などのビジュアル素材を、動作するフロントエンドコードに変換します。HTML(TailwindまたはCSS)、React(Tailwind)、Vue(Tailwind)、Bootstrap、Ionic(Tailwind)などの出力先を選ぶと、そのレイアウトを再現するコードが生成されます。
コード生成には、OpenAI、Anthropic、Google Gemini、Replicateのホスト型AIモデルを利用します。Geminiを設定すると、スクリーンショットから実際のロゴや画像を抽出して、出力に再利用できます。画面録画から、映っているサイトの機能的なプロトタイプを作ることもできます。
React/ViteのフロントエンドとFastAPIのバックエンドで構成されており、Docker Composeを使ってローカルで実行できます。ホスト版も利用可能です。ローカルで実行するには、各モデルプロバイダーのAPIキーを自分で用意する必要があります。
主な機能
- 01スクリーンショットやFigmaデザインからHTML、React、Vue、Bootstrapのコードを生成
- 02Tailwind、通常のCSS、Ionic形式の出力に対応
- 03Webサイトの画面録画からプロトタイプを生成
- 04Geminiの設定時に、スクリーンショットから実際のロゴや画像を抽出
- 05OpenAI、Anthropic、Geminiのモデルから選択可能
ユースケース
- デザインモックアップをフロントエンドページのたたき台にする
- スクリーンショットをもとに既存Webサイトのレイアウトを再現する
- 既存アプリの画面録画からUIのプロトタイプを作る
クイックスタート
- 1
Poetryでバックエンドをセットアップし、依存関係をインストールします
cd backend && poetry install - 2
スクリーンプレビュー用ツールのためにChromiumブラウザーをインストールします
poetry run playwright install chromium - 3
ポート7001でバックエンドサーバーを起動します
poetry run uvicorn main:app --reload --port 7001 - 4
フロントエンドの依存関係をインストールして開発サーバーを起動し、http://localhost:5173 を開きます
cd frontend && pnpm install && pnpm dev
使う前に知っておきたいこと
- ローカルで実行するには、少なくとも1つのモデルAPIキーが必要です。すべての機能を利用するにはReplicateを強くおすすめします。
- FastAPIバックエンドとReactフロントエンドの両方をセットアップする必要があるため、セルフホスティングには多少の手間がかかります。
- 結果の品質が低いため、Ollamaのオープンソースモデルはおすすめしません。
トピック
よくある質問
- screenshot-to-code とは?
- AIモデルを使って、スクリーンショット、モックアップ、Figmaデザイン、画面録画からHTML、Tailwind、React、Vueなどのフロントエンドコードを生成します。 screenshot-to-codeは、スクリーンショット、モックアップ、Figmaデザイン、画面録画などのビジュアル素材を、動作するフロントエンドコードに変換します。HTML(TailwindまたはCSS)、React(Tailwind)、Vue(Tailwind)、Bootstrap、Ionic(Tailwind)などの出力先を選ぶと、そのレイアウトを再現するコードが生成されます。
- screenshot-to-code は無料で使えますか?ライセンスは?
- screenshot-to-code は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- screenshot-to-code は今もメンテナンスされていますか?
- 活発にメンテナンス中。screenshot-to-code の最終コミットは 2026年10月9日 です。
- screenshot-to-code は何に使えますか?
- デザインモックアップをフロントエンドページのたたき台にする スクリーンショットをもとに既存Webサイトのレイアウトを再現する 既存アプリの画面録画からUIのプロトタイプを作る
- screenshot-to-code のインストール方法は?
- Poetryでバックエンドをセットアップし、依存関係をインストールします: cd backend && poetry install スクリーンプレビュー用ツールのためにChromiumブラウザーをインストールします: poetry run playwright install chromium ポート7001でバックエンドサーバーを起動します: poetry run uvicorn main:app --reload --port 7001 フロントエンドの依存関係をインストールして開発サーバーを起動し、http://localhost:5173 を開きます: cd frontend && pnpm install && pnpm dev
- screenshot-to-code はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/abi/screenshot-to-code
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
ローカル環境で動作するオープンソースのAIアプリビルダー。自分のAI APIキーを利用でき、Lovable、v0、Boltに代わる選択肢です。
独自コンポーネントライブラリからLLMが描画可能なUIを生成する、OpenUI Langベースのフレームワーク非依存Generative UIツールキット。
LLMでコードを反復的に変異・評価し、より優れたアルゴリズムの発見を目指すオープンソースの進化型コーディングエージェント。AlphaEvolveのアプローチを実装。
MCPツールが返し、ホストが表示できるインタラクティブなUIリソースを構築するためのTypeScript、Ruby、Python SDK。
あらゆるLLMでターミナルから実行できる、成果ベースのタスクに対応したオープンソースの自己改善型エージェントハーネス。