精选的本地运行大语言模型相关资源列表，涵盖推理平台、引擎、界面、模型与工具。
2984498MIT更新于 3天前
0xSojalSec/LLMs-local
一份整理本地运行大语言模型所需平台、推理引擎、界面、模型与教程的资源清单。
- Star
- 1,198
- Fork
- 138
- 未关闭 Issue
- 12
- 最近提交
- 4个月前
这是什么？
LLMs-local 是一份整理本地运行大语言模型相关资源的清单，面向希望在自己设备上运行模型、而不是调用托管 API 的开发者。内容按推理平台与引擎、用户界面、开源模型、Agent 框架、MCP 服务、检索增强生成、编程 Agent、记忆层、评测工具、硬件和教程等分类组织。
清单中列出了 Ollama、llama.cpp、vLLM、LM Studio、Open WebUI 等项目，并为每个条目附上简短说明，方便在选型前快速对比。同时也收录了模型提供方和评测排行榜等资源。
这是一个链接集合而非可安装的软件包，本身没有需要运行的代码。
核心功能
- 01列出 llama.cpp、Ollama、vLLM、MLX-LM 等本地推理引擎并附简短说明。
- 02收录 Open WebUI、LM Studio、SillyTavern 等聊天界面。
- 03涵盖可与本地模型配合使用的 Agent 框架、MCP 服务和 RAG 工具。
- 04包含硬件选型参考以及提示词、上下文和推理相关教程。
适用场景
- 为个人电脑选择合适的推理引擎或桌面应用。
- 寻找可与开源模型搭配使用的本地聊天界面或编程助手。
- 在搭建本地环境前了解可用的开源模型和评测资源。
使用前须知
- 未指定许可证，因此复用条款不明确。
标签
常见问题
- LLMs-local 是什么？
- 一份整理本地运行大语言模型所需平台、推理引擎、界面、模型与教程的资源清单。 LLMs-local 是一份整理本地运行大语言模型相关资源的清单，面向希望在自己设备上运行模型、而不是调用托管 API 的开发者。内容按推理平台与引擎、用户界面、开源模型、Agent 框架、MCP 服务、检索增强生成、编程 Agent、记忆层、评测工具、硬件和教程等分类组织。
- LLMs-local 可以免费使用吗？用的什么许可证？
- LLMs-local 没有声明许可证。代码虽然公开，但没有许可证就没有明确的使用授权，正式使用前建议先联系作者。
- LLMs-local 还在维护吗？
- 半年内有更新。LLMs-local 最近一次提交是在 2026年6月10日。
- LLMs-local 适合用来做什么？
- 为个人电脑选择合适的推理引擎或桌面应用。 寻找可与开源模型搭配使用的本地聊天界面或编程助手。 在搭建本地环境前了解可用的开源模型和评测资源。
- 在哪里获取 LLMs-local？
- 源代码和安装说明在 GitHub 上：https://github.com/0xSojalSec/LLMs-local
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
一份精选的免费 AI 模型、API 与工具清单，涵盖开源权重模型、免费 API 额度和本地运行工具。
2520244Other更新于 9天前
整理提供永久免费额度的大模型 API 服务商，列出端点、模型与速率限制。
1.1万1191JavaScriptCC0-1.0更新于 昨天
本地或云端运行 Gemma、Qwen、DeepSeek、gpt-oss 等开源大模型的工具，提供命令行、REST API 和 Python/JavaScript 库。
18.4万1.8万GoMIT更新于 前天
开源推理引擎，针对你的硬件自动调优内核，让开源模型在 Apple Silicon、NVIDIA、AMD 或纯 CPU 上运行更快。
7186494RustApache-2.0更新于 昨天
一套从零构建 AI 智能体的实践教程，基于 node-llama-cpp 使用本地大模型，涵盖函数调用、记忆与 ReAct 模式。
4871721JavaScriptMIT更新于 3个月前