Repolode
投稿する
ianarawjo

ianarawjo/ChainForge

複数のLLMに同時に問い合わせ、回答を採点して比較できる、ビジュアルなノードベースの環境。

GitHub で見る公式サイト
スター
3,040
フォーク
261
未解決の Issue
70
最終コミット
8 日前

これは何？

ChainForgeは、プロンプトエンジニアリングとLLMの回答評価のためのデータフロー環境です。モデルと1つずつ対話する代わりに、キャンバス上でフローを組み立て、同じプロンプトテンプレートを複数のモデルに送り、プロンプトのバリエーションやモデル設定ごとの出力を並べて比較できます。

中核となる仕組みは組み合わせです。プロンプトテンプレートに入力した値を互いに、また選択したモデルと組み合わせることで、数百件のクエリを一度に実行できます。Pythonの評価スクリプトを追加して回答を採点し、箱ひげ図やヒストグラムで結果を可視化したり、データをスプレッドシートにエクスポートしたりできます。

ChainForgeはReactフロントエンドを備えたローカルのPythonサーバーとして動作し、chainforge.ai/playからブラウザ上で使うこともできます。OpenAI、Anthropic、Google Gemini、Ollamaで実行するローカルモデル、Azure OpenAI、Amazon Bedrockに対応しており、その他のプロバイダーにはカスタムのプロバイダースクリプトを利用できます。

主な機能

  • 01複数のLLMに一度に問い合わせ、回答を比較
  • 02テンプレート変数やデータセットからプロンプトの組み合わせを生成
  • 03Pythonの評価ノードで回答を採点
  • 04数値や真偽値の指標をプロットで可視化
  • 05結果をスプレッドシート形式でエクスポート
  • 06アップロード、チャンク分割、検索、再ランキングに対応するRAGノードを搭載

ユースケース

  • 特定のタスクに最適なモデルを、プロバイダーを決める前に選ぶ
  • プロンプトのわずかな言い回しの違いが、多数の入力に対する出力品質にどう影響するかをテストする
  • 数学の回答を期待される結果と照合するなど、正解データに基づく評価を実行する
  • パラメーター化したLLMの出力をまとめて生成し、分析用にエクスポートする

クイックスタート

  1. 1

    pipでChainForgeをインストールします（Python 3.10以上）

    pip install chainforge
  2. 2

    ローカルサーバーを起動します

    chainforge serve
  3. 3

    Chrome、Firefox、Edge、またはBraveでlocalhost:8000を開きます

使う前に知っておきたいこと

  • ローカルへのインストールにはPython 3.10以上が必要です。
  • Python evaluatorsやローカルのOllamaモデルなど、一部の機能はWeb版ではなくローカル版でのみ利用できます。
  • RAGのサーバーサイド機能をすべて利用するには追加のインストールが必要で、FAISSは別途インストールする必要があります。

収録されている特集

テストフレームワークと自動テストツール

トピック

#prompt-engineering#llm-evaluation#large-language-models#visual-programming#multi-model-comparison#llmops#ai#evaluation#llms

よくある質問

ChainForge とは？
複数のLLMに同時に問い合わせ、回答を採点して比較できる、ビジュアルなノードベースの環境。 ChainForgeは、プロンプトエンジニアリングとLLMの回答評価のためのデータフロー環境です。モデルと1つずつ対話する代わりに、キャンバス上でフローを組み立て、同じプロンプトテンプレートを複数のモデルに送り、プロンプトのバリエーションやモデル設定ごとの出力を並べて比較できます。
ChainForge は無料で使えますか？ライセンスは？
ChainForge は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
ChainForge は今もメンテナンスされていますか？
活発にメンテナンス中。ChainForge の最終コミットは 2026年10月29日 です。
ChainForge は何に使えますか？
特定のタスクに最適なモデルを、プロバイダーを決める前に選ぶ プロンプトのわずかな言い回しの違いが、多数の入力に対する出力品質にどう影響するかをテストする 数学の回答を期待される結果と照合するなど、正解データに基づく評価を実行する パラメーター化したLLMの出力をまとめて生成し、分析用にエクスポートする
ChainForge のインストール方法は？
pipでChainForgeをインストールします（Python 3.10以上）: pip install chainforge ローカルサーバーを起動します: chainforge serve Chrome、Firefox、Edge、またはBraveでlocalhost:8000を開きます
ChainForge はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/ianarawjo/ChainForge

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト