CPU、RAM、GPUを検出し、手元のマシンで快適に動作するオープンLLMを順位付けするRust製CLI/TUI。
Andyyyy64/whichllm
GPU、CPU、RAMを検出し、パラメータ数ではなくベンチマークに基づいて、実際にハードウェア上で動作するHuggingFaceのローカルLLMを順位付けするCLIです。
- スター
- 6,767
- フォーク
- 373
- 未解決の Issue
- 6
- 最終コミット
- 昨日
これは何?
whichllmは、手元のマシンで実際に快適に動かせるローカルLLMを調べるツールです。NVIDIA、AMD、Intel、Apple Silicon、およびCPUのみの環境を検出し、候補ごとに必要なVRAMと生成速度を推定して、HuggingFace APIからその場で取得したモデルをランキング形式で表示します。
ランキングはLiveBench、Artificial Analysis、Aider、Chatbot Arena ELO、Open LLM Leaderboardなどのベンチマーク結果を統合して作成し、古いスコアは新しさを考慮して順位を下げます。各スコアには根拠を示すラベル(direct、variant、base、interpolated、self-reported)が付くため、他モデルから引き継いだ結果やアップローダーが申告した結果は、評価が割り引かれていることが分かります。ハードウェアを購入する前に--gpuで任意のGPUをシミュレーションしたり、アップグレード候補を比較したり、特定のモデルに必要なGPUを調べたりできます。
モデルの推奨に加えて、llama-cpp-python、transformers、またはAutoAWQ/AutoGPTQを使ったモデルのダウンロードとチャット、すぐに実行できるPythonスニペットの表示、スクリプトやissue向けのJSON・Markdown出力にも対応しています。
主な機能
- 01NVIDIA、AMD、Intel、Apple Silicon、およびCPUのみの環境を自動検出
- 02複数の実ベンチマークを統合し、スコアの新しさも考慮してモデルを順位付け
- 03VRAMに収まるか、GPU全体または一部にオフロードできるか、tokens per secondを推定
- 04購入前に--gpuで任意のGPUやマルチGPU構成をシミュレーション
- 05planでモデルに必要なハードウェアを逆引き
- 06runでワンコマンドのチャット、snippetでコピーして使えるPythonコードを表示
- 07スクリプトや共有向けにJSONとMarkdownで出力
ユースケース
- GPUの購入やアップグレード前にローカルモデルを選ぶ
- ノートPCやデスクトップで快適に動く最大サイズのモデルを見つける
- Llama 70Bなど特定のモデルに必要なGPUを調べる
- 最上位モデルのIDをスクリプトやOllamaのワークフローに渡す
クイックスタート
- 1
セットアップせずに、まず一度おすすめを実行する
uvx whichllm@latest - 2
ハードウェアを購入する前にGPUをシミュレーションする
uvx whichllm@latest --gpu "RTX 4090" - 3
頻繁に使う場合はインストールする
uv tool install whichllm
使う前に知っておきたいこと
- モデルのランキングはHuggingFaceの最新データとベンチマークの情報源に依存するため、時間の経過とともに変わることがあります。
- 速度とVRAMの数値は推定値であり、お使いのマシンでリアルタイムに測定したものではありません。
トピック
よくある質問
- whichllm とは?
- GPU、CPU、RAMを検出し、パラメータ数ではなくベンチマークに基づいて、実際にハードウェア上で動作するHuggingFaceのローカルLLMを順位付けするCLIです。 whichllmは、手元のマシンで実際に快適に動かせるローカルLLMを調べるツールです。NVIDIA、AMD、Intel、Apple Silicon、およびCPUのみの環境を検出し、候補ごとに必要なVRAMと生成速度を推定して、HuggingFace APIからその場で取得したモデルをランキング形式で表示します。
- whichllm は無料で使えますか?ライセンスは?
- whichllm は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- whichllm は今もメンテナンスされていますか?
- 活発にメンテナンス中。whichllm の最終コミットは 2026年10月19日 です。
- whichllm は何に使えますか?
- GPUの購入やアップグレード前にローカルモデルを選ぶ ノートPCやデスクトップで快適に動く最大サイズのモデルを見つける Llama 70Bなど特定のモデルに必要なGPUを調べる 最上位モデルのIDをスクリプトやOllamaのワークフローに渡す
- whichllm のインストール方法は?
- セットアップせずに、まず一度おすすめを実行する: uvx whichllm@latest ハードウェアを購入する前にGPUをシミュレーションする: uvx whichllm@latest --gpu "RTX 4090" 頻繁に使う場合はインストールする: uv tool install whichllm
- whichllm はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/Andyyyy64/whichllm
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
幅広いハードウェアバックエンドに対応し、LLMや視覚言語モデルをローカルまたはクラウドで実行する、純粋なC/C++製の推論エンジン。
量子化なしで、レイヤー単位に大規模言語モデルを実行し、70Bクラスのモデルを4GB GPU 1枚で推論できるPythonライブラリ。
WindowsやLinuxで、一般向けNVIDIA・AMD GPU上に大規模なQwen3.8-Flash-Nextモデルを実行するローカル推論エンジン。OpenAI・Anthropic互換APIに対応。
コンシューマー向けGPUやCPUでDeepSeek-V4やQwen3.6などの大規模なオープンウェイトモデルを動かす、エッジネイティブなMoE推論エンジン。
単一のYAML設定からLLMのファインチューニングや追加学習を行うCLIツール。VRAMの少ない一般向けGPUにも対応。