Repolode
Andyyyy64

Andyyyy64/whichllm

GPU、CPU、RAMを検出し、パラメータ数ではなくベンチマークに基づいて、実際にハードウェア上で動作するHuggingFaceのローカルLLMを順位付けするCLIです。

スター
6,767
フォーク
373
未解決の Issue
6
最終コミット
昨日

これは何?

whichllmは、手元のマシンで実際に快適に動かせるローカルLLMを調べるツールです。NVIDIA、AMD、Intel、Apple Silicon、およびCPUのみの環境を検出し、候補ごとに必要なVRAMと生成速度を推定して、HuggingFace APIからその場で取得したモデルをランキング形式で表示します。

ランキングはLiveBench、Artificial Analysis、Aider、Chatbot Arena ELO、Open LLM Leaderboardなどのベンチマーク結果を統合して作成し、古いスコアは新しさを考慮して順位を下げます。各スコアには根拠を示すラベル(direct、variant、base、interpolated、self-reported)が付くため、他モデルから引き継いだ結果やアップローダーが申告した結果は、評価が割り引かれていることが分かります。ハードウェアを購入する前に--gpuで任意のGPUをシミュレーションしたり、アップグレード候補を比較したり、特定のモデルに必要なGPUを調べたりできます。

モデルの推奨に加えて、llama-cpp-python、transformers、またはAutoAWQ/AutoGPTQを使ったモデルのダウンロードとチャット、すぐに実行できるPythonスニペットの表示、スクリプトやissue向けのJSON・Markdown出力にも対応しています。

主な機能

  • 01NVIDIA、AMD、Intel、Apple Silicon、およびCPUのみの環境を自動検出
  • 02複数の実ベンチマークを統合し、スコアの新しさも考慮してモデルを順位付け
  • 03VRAMに収まるか、GPU全体または一部にオフロードできるか、tokens per secondを推定
  • 04購入前に--gpuで任意のGPUやマルチGPU構成をシミュレーション
  • 05planでモデルに必要なハードウェアを逆引き
  • 06runでワンコマンドのチャット、snippetでコピーして使えるPythonコードを表示
  • 07スクリプトや共有向けにJSONとMarkdownで出力

ユースケース

  • GPUの購入やアップグレード前にローカルモデルを選ぶ
  • ノートPCやデスクトップで快適に動く最大サイズのモデルを見つける
  • Llama 70Bなど特定のモデルに必要なGPUを調べる
  • 最上位モデルのIDをスクリプトやOllamaのワークフローに渡す

クイックスタート

  1. 1

    セットアップせずに、まず一度おすすめを実行する

    uvx whichllm@latest
  2. 2

    ハードウェアを購入する前にGPUをシミュレーションする

    uvx whichllm@latest --gpu "RTX 4090"
  3. 3

    頻繁に使う場合はインストールする

    uv tool install whichllm

使う前に知っておきたいこと

  • モデルのランキングはHuggingFaceの最新データとベンチマークの情報源に依存するため、時間の経過とともに変わることがあります。
  • 速度とVRAMの数値は推定値であり、お使いのマシンでリアルタイムに測定したものではありません。

トピック

よくある質問

whichllm とは?
GPU、CPU、RAMを検出し、パラメータ数ではなくベンチマークに基づいて、実際にハードウェア上で動作するHuggingFaceのローカルLLMを順位付けするCLIです。 whichllmは、手元のマシンで実際に快適に動かせるローカルLLMを調べるツールです。NVIDIA、AMD、Intel、Apple Silicon、およびCPUのみの環境を検出し、候補ごとに必要なVRAMと生成速度を推定して、HuggingFace APIからその場で取得したモデルをランキング形式で表示します。
whichllm は無料で使えますか?ライセンスは?
whichllm は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
whichllm は今もメンテナンスされていますか?
活発にメンテナンス中。whichllm の最終コミットは 2026年10月19日 です。
whichllm は何に使えますか?
GPUの購入やアップグレード前にローカルモデルを選ぶ ノートPCやデスクトップで快適に動く最大サイズのモデルを見つける Llama 70Bなど特定のモデルに必要なGPUを調べる 最上位モデルのIDをスクリプトやOllamaのワークフローに渡す
whichllm のインストール方法は?
セットアップせずに、まず一度おすすめを実行する: uvx whichllm@latest ハードウェアを購入する前にGPUをシミュレーションする: uvx whichllm@latest --gpu "RTX 4090" 頻繁に使う場合はインストールする: uv tool install whichllm
whichllm はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/Andyyyy64/whichllm

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト