“local-llm” 相关开源项目

一款 macOS 菜单栏应用，用于在本地运行大语言模型，基于 llama.cpp 构建。

在本地或云端运行和管理 Gemma、Qwen、DeepSeek 等开源大模型的工具，提供命令行和 REST API。

可本地自托管的 AI 深度研究助手，结合本地或云端大模型，检索网络、学术库和私有文档并生成带引用的报告。

精选的本地运行大语言模型资源清单，涵盖推理平台、引擎、界面、模型与工具。

面向消费级硬件的边缘端 MoE 推理引擎，通过 GPU 与 CPU 协同运行超大开源模型。

基于本地模型运行的推理工具，把逐步推理结果保存为知识图谱，全部在本机通过 Ollama 运行。

精选的本地运行大语言模型工具、平台、模型与教程资源列表。

在 Apple Silicon Mac 上基于 MLX 运行本地开源模型，让 Claude Code 无需云端模型和 API 密钥即可工作。

一套不依赖框架、基于本地大模型从零构建 AI Agent 的实战教程。

一个教学型 JavaScript 项目，使用本地 LLM 逐步从零实现检索增强生成（RAG），不依赖云端 API。

纯 C 推理引擎，通过从磁盘按需读取专家网络，在普通硬件上运行超大混合专家（MoE）模型。

通过单个 YAML 配置微调和后训练大模型的命令行工具，支持分层流式加载，可在 4 GB 显卡上训练 8B 模型。

一个本地优先的浏览器自动化引擎与 Agent Skill，用本地 Qwen3.5 模型从可见页面元素中选择操作。

通过 USB-C 连接 iPhone，协助 Mac 本地运行 27B Qwen 模型，加快提示词读取并扩展上下文。

Spark-X2.5 是一套开源权重语言模型（4B 与 1.7B），面向本地与端侧的智能体编程和工具调用。

开源推理引擎，针对你的硬件调优计算内核，让各类开源模型运行得尽可能快。

跨平台桌面应用，借助本地或远程大模型为文件分类并建议更清晰的文件名，所有改动需先审核。

一款 Zotero 插件，可与单篇、多篇 PDF 或整个文献库对话，回答附可点击跳转的引用，并支持完全本地运行的模型。

Chrome 扩展加本地 Python 服务，用 Ollama 为 YouTube 直播实时生成中英互译字幕。