Repolode
提交项目
rafska

rafska/awesome-local-llm

精选的本地运行大语言模型相关资源列表，涵盖推理平台、引擎、界面、模型与工具。

在 GitHub 查看
Star
2,984
Fork
498
未关闭 Issue
234
最近提交
3天前

这是什么？

awesome-local-llm 是一份精选资源列表，收录了在自有硬件上运行大语言模型的各类工具与资料，而不是依赖托管的 API。内容按类别组织，包括 Ollama、llama.cpp、vLLM 等推理平台与引擎，Open WebUI、SillyTavern 等用户界面，以及 Qwen、Mistral、Gemma、NVIDIA 等厂商发布的开放权重模型合集。

除软件外，列表还涵盖模型排行榜与评测、Agent 框架、Model Context Protocol 工具、检索增强生成（RAG）组件、硬件选型建议，以及提示词工程、上下文工程和推理相关教程。每个条目都链接到项目主页或 Hugging Face 模型合集，并附有简短说明，方便快速选型。

核心功能

  • 01涵盖 Ollama、llama.cpp、vLLM、基于 MLX 的工具等推理引擎
  • 02收录用于与本地模型对话的桌面端与网页端界面
  • 03按编码、视觉、语音等用途整理开放权重模型系列
  • 04包含适用于本地环境的 Agent 框架、RAG 组件和 MCP 工具
  • 05提供评测排行榜、硬件选型与教程资源

适用场景

  • 在搭建本地大模型前挑选推理引擎或聊天界面
  • 查找适合编码、视觉或语音任务的开放权重模型
  • 发现可与自托管模型配合使用的 Agent 框架和 RAG 工具
  • 通过链接的教程系统学习本地大模型的实践方法

标签

#llm#local-llm#awesome-list#self-hosted#inference#open-weight-models#ai-tools#ai#awesome#local

常见问题

awesome-local-llm 是什么？
精选的本地运行大语言模型相关资源列表，涵盖推理平台、引擎、界面、模型与工具。 awesome-local-llm 是一份精选资源列表，收录了在自有硬件上运行大语言模型的各类工具与资料，而不是依赖托管的 API。内容按类别组织，包括 Ollama、llama.cpp、vLLM 等推理平台与引擎，Open WebUI、SillyTavern 等用户界面，以及 Qwen、Mistral、Gemma、NVIDIA 等厂商发布的开放权重模型合集。
awesome-local-llm 可以免费使用吗？用的什么许可证？
awesome-local-llm 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
awesome-local-llm 还在维护吗？
活跃维护中。awesome-local-llm 最近一次提交是在 2026年10月17日。
awesome-local-llm 适合用来做什么？
在搭建本地大模型前挑选推理引擎或聊天界面 查找适合编码、视觉或语音任务的开放权重模型 发现可与自托管模型配合使用的 Agent 框架和 RAG 工具 通过链接的教程系统学习本地大模型的实践方法
在哪里获取 awesome-local-llm？
源代码和安装说明在 GitHub 上：https://github.com/rafska/awesome-local-llm

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目