Repolode
提交项目
AlexsJones

AlexsJones/llmfit

一款 Rust 编写的命令行与终端工具，检测 CPU、内存和显卡，按硬件适配度推荐可运行的开源大模型。

在 GitHub 查看
Star
38,129
Fork
2,456
未关闭 Issue
60
最近提交
昨天

这是什么？

llmfit 解决本地运行大模型时的一个常见问题：自己的硬件能流畅运行哪些开源 LLM。它会检测 CPU 核心数、系统内存、独立与集成显卡、显存以及统一内存架构，支持 NVIDIA CUDA、Apple Silicon、AMD ROCm 和 Intel OneAPI。

工具会从memory fit、预估速度、模型质量和上下文长度四个维度为目录中的每个模型打分，估算时考虑参数量以及 GGUF、AWQ、GPTQ、EXL2 等量化格式。默认提供交互式终端界面，也可输出经典的命令行表格或 JSON，方便脚本调用。

项目还提供 Web 仪表盘和 HTTP REST API，并附带基准测试命令，可在 Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio 等本地运行时上实测 tok/s。

核心功能

  • 01自动检测 CPU、内存、显卡、显存及统一内存，覆盖 NVIDIA、Apple Silicon、AMD 和 Intel。
  • 02从内存适配、预估速度、质量和上下文长度四个维度对模型排序。
  • 03提供交互式终端界面、支持 JSON 输出的命令行，以及 Web 仪表盘。
  • 04通过 HTTP 接口暴露系统与模型信息，便于集成到自动化部署流程。
  • 05支持多 GPU、MoE 架构以及 GGUF、AWQ、GPTQ、EXL2 等量化格式。

适用场景

  • 下载动辄数 GB 的模型文件前，先确认本机能否运行。
  • 判断笔记本或工作站能否以可接受的速度运行某个模型。
  • 通过 JSON 输出把硬件感知的推荐结果接入脚本或智能体。
  • 在本机实测 tok/s 并贡献给社区，以改进速度估算。

快速上手

  1. 1

    使用 Homebrew 安装预编译二进制文件

    brew install AlexsJones/llmfit/llmfit
  2. 2

    启动交互式终端界面

    llmfit

使用前须知

  • 如果签名任务失败，Windows 发布版二进制文件可能未签名，如需签名版本请自行验证签名。
  • 除非您自行运行基准测试，否则速度和适配结果均为基于硬件规格的估算。

标签

#llm#local-llm#gguf#quantization#hardware#cli#tui#benchmark#localai#mlx

常见问题

llmfit 是什么？
一款 Rust 编写的命令行与终端工具，检测 CPU、内存和显卡，按硬件适配度推荐可运行的开源大模型。 llmfit 解决本地运行大模型时的一个常见问题：自己的硬件能流畅运行哪些开源 LLM。它会检测 CPU 核心数、系统内存、独立与集成显卡、显存以及统一内存架构，支持 NVIDIA CUDA、Apple Silicon、AMD ROCm 和 Intel OneAPI。
llmfit 可以免费使用吗？用的什么许可证？
llmfit 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
llmfit 还在维护吗？
活跃维护中。llmfit 最近一次提交是在 2026年10月19日。
llmfit 适合用来做什么？
下载动辄数 GB 的模型文件前，先确认本机能否运行。 判断笔记本或工作站能否以可接受的速度运行某个模型。 通过 JSON 输出把硬件感知的推荐结果接入脚本或智能体。 在本机实测 tok/s 并贡献给社区，以改进速度估算。
llmfit 怎么安装和运行？
使用 Homebrew 安装预编译二进制文件: brew install AlexsJones/llmfit/llmfit 启动交互式终端界面: llmfit
在哪里获取 llmfit？
源代码和安装说明在 GitHub 上：https://github.com/AlexsJones/llmfit

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目