Repolode
AlexsJones

AlexsJones/llmfit

CPU、RAM、GPUを検出し、手元のマシンで快適に動作するオープンLLMを順位付けするRust製CLI/TUI。

スター
38,129
フォーク
2,456
未解決の Issue
60
最終コミット
昨日

これは何?

llmfitは、ローカルでモデルを動かす人によくある疑問に答えます。自分のハードウェアで動かせて、実用的な速度が出るオープンソースLLMはどれか、という疑問です。CPUコア、システムRAM、ディスクリートGPUと統合GPU、VRAM、ユニファイドメモリを調べ、NVIDIA CUDA、Apple Silicon、AMD ROCm、Intel OneAPIの環境にも対応します。

カタログ内の各モデルは、メモリへの適合度、推定速度、品質、コンテキスト長を基準にスコア化されます。推定では、パラメーター数やGGUF、AWQ、GPTQ、EXL2などの量子化形式が考慮されます。結果はデフォルトで対話型のターミナルUIに表示され、従来型のCLIテーブルや、スクリプト向けのJSON出力も利用できます。

さらに、HTTP経由で提供されるWebダッシュボードとREST APIに加え、Ollama、llama.cpp、MLX、Docker Model Runner、LM Studioなど、起動中のローカルプロバイダーに対するtok/sを測定するベンチマークコマンドも用意されています。

主な機能

  • 01NVIDIA、Apple Silicon、AMD、Intelの各環境で、CPU、RAM、GPU、VRAM、ユニファイドメモリを検出します。
  • 02メモリへの適合度、推定速度、品質、コンテキスト長に基づいてモデルを順位付けします。
  • 03対話型TUI、JSON出力に対応したCLI、Webダッシュボードを提供します。
  • 04/api/v1/systemや/api/v1/modelsなどのHTTPエンドポイントを公開します。
  • 05マルチGPU環境、MoEモデル、複数の量子化形式に対応します。

ユースケース

  • 数GBのモデルファイルをダウンロードする前に、ローカルで使うLLMを選ぶ。
  • ノートPCやワークステーションで、モデルを許容できる速度で動かせるか確認する。
  • ハードウェアに応じたモデルの推奨情報を、JSON経由でスクリプトやエージェントに渡す。
  • ハードウェアのベンチマーク結果をコミュニティと共有し、速度推定の精度向上に役立てる。

クイックスタート

  1. 1

    Homebrew でインストール(ビルド済みバイナリ)

    brew install AlexsJones/llmfit/llmfit
  2. 2

    対話型 TUI を起動

    llmfit

使う前に知っておきたいこと

  • 署名ジョブが失敗すると、Windows 版のリリースバイナリに署名が付かない場合があります。署名済みバイナリが必要な場合は、署名を確認してください。
  • 速度と適合性の数値は、自分でベンチマークを実行しない限り、仕様に基づく推定値です。

トピック

よくある質問

llmfit とは?
CPU、RAM、GPUを検出し、手元のマシンで快適に動作するオープンLLMを順位付けするRust製CLI/TUI。 llmfitは、ローカルでモデルを動かす人によくある疑問に答えます。自分のハードウェアで動かせて、実用的な速度が出るオープンソースLLMはどれか、という疑問です。CPUコア、システムRAM、ディスクリートGPUと統合GPU、VRAM、ユニファイドメモリを調べ、NVIDIA CUDA、Apple Silicon、AMD ROCm、Intel OneAPIの環境にも対応します。
llmfit は無料で使えますか?ライセンスは?
llmfit は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
llmfit は今もメンテナンスされていますか?
活発にメンテナンス中。llmfit の最終コミットは 2026年10月19日 です。
llmfit は何に使えますか?
数GBのモデルファイルをダウンロードする前に、ローカルで使うLLMを選ぶ。 ノートPCやワークステーションで、モデルを許容できる速度で動かせるか確認する。 ハードウェアに応じたモデルの推奨情報を、JSON経由でスクリプトやエージェントに渡す。 ハードウェアのベンチマーク結果をコミュニティと共有し、速度推定の精度向上に役立てる。
llmfit のインストール方法は?
Homebrew でインストール(ビルド済みバイナリ): brew install AlexsJones/llmfit/llmfit 対話型 TUI を起動: llmfit
llmfit はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/AlexsJones/llmfit

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト