GPU、CPU、RAMを検出し、パラメータ数ではなくベンチマークに基づいて、実際にハードウェア上で動作するHuggingFaceのローカルLLMを順位付けするCLIです。
AlexsJones/llmfit
CPU、RAM、GPUを検出し、手元のマシンで快適に動作するオープンLLMを順位付けするRust製CLI/TUI。
- スター
- 38,129
- フォーク
- 2,456
- 未解決の Issue
- 60
- 最終コミット
- 昨日
これは何?
llmfitは、ローカルでモデルを動かす人によくある疑問に答えます。自分のハードウェアで動かせて、実用的な速度が出るオープンソースLLMはどれか、という疑問です。CPUコア、システムRAM、ディスクリートGPUと統合GPU、VRAM、ユニファイドメモリを調べ、NVIDIA CUDA、Apple Silicon、AMD ROCm、Intel OneAPIの環境にも対応します。
カタログ内の各モデルは、メモリへの適合度、推定速度、品質、コンテキスト長を基準にスコア化されます。推定では、パラメーター数やGGUF、AWQ、GPTQ、EXL2などの量子化形式が考慮されます。結果はデフォルトで対話型のターミナルUIに表示され、従来型のCLIテーブルや、スクリプト向けのJSON出力も利用できます。
さらに、HTTP経由で提供されるWebダッシュボードとREST APIに加え、Ollama、llama.cpp、MLX、Docker Model Runner、LM Studioなど、起動中のローカルプロバイダーに対するtok/sを測定するベンチマークコマンドも用意されています。
主な機能
- 01NVIDIA、Apple Silicon、AMD、Intelの各環境で、CPU、RAM、GPU、VRAM、ユニファイドメモリを検出します。
- 02メモリへの適合度、推定速度、品質、コンテキスト長に基づいてモデルを順位付けします。
- 03対話型TUI、JSON出力に対応したCLI、Webダッシュボードを提供します。
- 04/api/v1/systemや/api/v1/modelsなどのHTTPエンドポイントを公開します。
- 05マルチGPU環境、MoEモデル、複数の量子化形式に対応します。
ユースケース
- 数GBのモデルファイルをダウンロードする前に、ローカルで使うLLMを選ぶ。
- ノートPCやワークステーションで、モデルを許容できる速度で動かせるか確認する。
- ハードウェアに応じたモデルの推奨情報を、JSON経由でスクリプトやエージェントに渡す。
- ハードウェアのベンチマーク結果をコミュニティと共有し、速度推定の精度向上に役立てる。
クイックスタート
- 1
Homebrew でインストール(ビルド済みバイナリ)
brew install AlexsJones/llmfit/llmfit - 2
対話型 TUI を起動
llmfit
使う前に知っておきたいこと
- 署名ジョブが失敗すると、Windows 版のリリースバイナリに署名が付かない場合があります。署名済みバイナリが必要な場合は、署名を確認してください。
- 速度と適合性の数値は、自分でベンチマークを実行しない限り、仕様に基づく推定値です。
トピック
よくある質問
- llmfit とは?
- CPU、RAM、GPUを検出し、手元のマシンで快適に動作するオープンLLMを順位付けするRust製CLI/TUI。 llmfitは、ローカルでモデルを動かす人によくある疑問に答えます。自分のハードウェアで動かせて、実用的な速度が出るオープンソースLLMはどれか、という疑問です。CPUコア、システムRAM、ディスクリートGPUと統合GPU、VRAM、ユニファイドメモリを調べ、NVIDIA CUDA、Apple Silicon、AMD ROCm、Intel OneAPIの環境にも対応します。
- llmfit は無料で使えますか?ライセンスは?
- llmfit は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- llmfit は今もメンテナンスされていますか?
- 活発にメンテナンス中。llmfit の最終コミットは 2026年10月19日 です。
- llmfit は何に使えますか?
- 数GBのモデルファイルをダウンロードする前に、ローカルで使うLLMを選ぶ。 ノートPCやワークステーションで、モデルを許容できる速度で動かせるか確認する。 ハードウェアに応じたモデルの推奨情報を、JSON経由でスクリプトやエージェントに渡す。 ハードウェアのベンチマーク結果をコミュニティと共有し、速度推定の精度向上に役立てる。
- llmfit のインストール方法は?
- Homebrew でインストール(ビルド済みバイナリ): brew install AlexsJones/llmfit/llmfit 対話型 TUI を起動: llmfit
- llmfit はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/AlexsJones/llmfit
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
単一のYAML設定からLLMのファインチューニングや追加学習を行うCLIツール。VRAMの少ない一般向けGPUにも対応。
Z.aiのAIコーディングワークスペース。共通のTypeScriptコードベースを基盤に、デスクトップアプリ、ブラウザーUI、ターミナルエージェントを提供します。
複数プロバイダーの無料コーディングLLMをベンチマークし、選んだモデルをコーディングツールに導入するCLIとWebダッシュボード。
依存関係なしで、約45MBのRAMを使う低価格ボード上で1BクラスのLLaMAアーキテクチャGGUFモデルを実行する、最小構成のC11製LLM推論エンジン。
llama.cppベースの、ローカルLLMを実行するmacOSメニューバーアプリ。ローカルAPIサーバーとWebUIを搭載。