一款 Rust 编写的命令行与终端工具，检测 CPU、内存和显卡，按硬件适配度推荐可运行的开源大模型。
3.8万2456RustMIT更新于 17小时前
Andyyyy64/whichllm
一款命令行工具，自动检测 GPU、CPU 和内存，从 HuggingFace 上挑选真正能在你的机器上运行、且表现最好的本地大模型。
- Star
- 6,767
- Fork
- 373
- 未关闭 Issue
- 6
- 最近提交
- 13小时前
这是什么？
whichllm 用来回答一个实际问题：你的机器上到底能流畅跑哪个本地大模型。它支持 NVIDIA、AMD、Intel、Apple Silicon 以及纯 CPU 环境，会为每个候选模型估算显存占用和生成速度，并从 HuggingFace API 实时拉取模型，输出排序后的列表。
排序依据是 LiveBench、Artificial Analysis、Aider、Chatbot Arena ELO、Open LLM Leaderboard 等基准测试的合并结果，过时的榜单分数会按模型谱系降权。每个分数都带有证据等级（直接匹配、变体、基础模型、插值或作者自报），继承或自报的结果会被明显折扣。购买硬件前可以用 --gpu 模拟任意显卡，也可以对比升级方案，或反查运行某个模型所需的 GPU。
除推荐外，它还能通过 llama-cpp-python、transformers 或 AutoAWQ/AutoGPTQ 直接下载并与模型对话，生成可直接运行的 Python 代码片段，并支持输出 JSON 和 Markdown，便于接入脚本或提交 issue。
核心功能
- 01自动检测 NVIDIA、AMD、Intel、Apple Silicon 及纯 CPU 硬件
- 02基于合并的真实基准测试排序，并对过时榜单降权
- 03估算显存占用、完整 GPU 或部分卸载方案以及每秒生成速度
- 04用 --gpu 模拟任意单卡或多卡配置，购买前参考
- 05通过 plan 反查运行某个模型所需的硬件
- 06通过 run 一键下载并对话，通过 snippet 生成可用的 Python 代码
- 07支持 JSON 和 Markdown 输出，便于脚本处理和分享
适用场景
- 在购买或升级显卡前，评估哪款本地模型值得跑
- 在笔记本或台式机上找到运行流畅的最佳模型
- 查询运行某个大模型（如 Llama 70B）需要什么显卡
- 将推荐的模型 ID 接入脚本或 Ollama 工作流
快速上手
- 1
无需项目配置，运行一次推荐命令
uvx whichllm@latest - 2
在购买硬件前模拟一块 GPU
uvx whichllm@latest --gpu "RTX 4090" - 3
安装到本地以便经常使用
uv tool install whichllm
使用前须知
- 模型排名依赖实时的 HuggingFace 数据和基准测试来源，结果可能随时间变化。
- 速度和显存数值为估算值，并非在你的机器上的实际测量。
标签
常见问题
- whichllm 是什么？
- 一款命令行工具，自动检测 GPU、CPU 和内存，从 HuggingFace 上挑选真正能在你的机器上运行、且表现最好的本地大模型。 whichllm 用来回答一个实际问题：你的机器上到底能流畅跑哪个本地大模型。它支持 NVIDIA、AMD、Intel、Apple Silicon 以及纯 CPU 环境，会为每个候选模型估算显存占用和生成速度，并从 HuggingFace API 实时拉取模型，输出排序后的列表。
- whichllm 可以免费使用吗？用的什么许可证？
- whichllm 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
- whichllm 还在维护吗？
- 活跃维护中。whichllm 最近一次提交是在 2026年10月19日。
- whichllm 适合用来做什么？
- 在购买或升级显卡前，评估哪款本地模型值得跑 在笔记本或台式机上找到运行流畅的最佳模型 查询运行某个大模型（如 Llama 70B）需要什么显卡 将推荐的模型 ID 接入脚本或 Ollama 工作流
- whichllm 怎么安装和运行？
- 无需项目配置，运行一次推荐命令: uvx whichllm@latest 在购买硬件前模拟一块 GPU: uvx whichllm@latest --gpu "RTX 4090" 安装到本地以便经常使用: uv tool install whichllm
- 在哪里获取 whichllm？
- 源代码和安装说明在 GitHub 上：https://github.com/Andyyyy64/whichllm
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
Python 库，逐层加载大语言模型，让 70B 级模型可在单张 4GB 显卡上推理，无需量化。
3.9万4026Jupyter NotebookApache-2.0更新于 17小时前
在家用 NVIDIA 或 AMD 显卡上本地运行大参数 Qwen3.8-Flash-Next 模型的推理引擎，提供兼容 OpenAI 与 Anthropic 的本地 API。
2.8万2945C++MIT更新于 3天前
面向消费级硬件的边缘端 MoE 推理引擎，可在个人电脑上运行大型开源权重模型。
1.5万1469PythonApache-2.0更新于 14小时前
通过一份 YAML 配置完成 LLM 微调与后训练的命令行工具，支持在低显存消费级显卡上训练。
93881540PythonApache-2.0更新于 13小时前
一款命令行与网页面板工具，用于测试各平台免费编程大模型的延迟和稳定性，并把选中的模型配置到编程工具中。
2824294HTMLOther更新于 19小时前