本地运行大模型：2026 精选

纯 C 推理引擎，通过从磁盘按需读取专家网络，在普通硬件上运行超大混合专家（MoE）模型。

开源的本地优先 AI 会议助手，支持会议录制、实时转写和摘要生成，运行于 macOS 和 Windows。

本地代理，让 Codex 和 Claude Code 可以调用 Claude、Gemini、DeepSeek、Ollama 等任意大模型。

面向消费级硬件的边缘端 MoE 推理引擎，通过 GPU 与 CPU 协同运行超大开源模型。

开源本地音乐生成模型，可根据文本生成完整歌曲，并支持翻唱、局部重绘和音轨分离等编辑功能。

通过单个 YAML 配置微调和后训练大模型的命令行工具，支持分层流式加载，可在 4 GB 显卡上训练 8B 模型。

可本地自托管的 AI 深度研究助手，结合本地或云端大模型，检索网络、学术库和私有文档并生成带引用的报告。

开源推理引擎，针对你的硬件调优计算内核，让各类开源模型运行得尽可能快。

基于 Swift 和 Metal 的运行时，在 Apple Silicon Mac 上以约 2 GB 内存运行 Gemma 4 26B-A4B 模型。

Windows 端 OCR 工具，可从屏幕区域、图片和 PDF 中提取文字，全程本地运行。

一套不依赖框架、基于本地大模型从零构建 AI Agent 的实战教程。

本地桌面应用，用 EmbeddingGemma 2 按文件内容语义搜索照片、PDF、文档、录音、视频和代码。

基于 LangGraph 构建的模块化 Agentic RAG 教程与项目，包含分层索引、对话记忆和查询澄清。

在 Apple Silicon Mac 上基于 MLX 运行本地开源模型，让 Claude Code 无需云端模型和 API 密钥即可工作。

基于 Streamlit 的网页爬虫，借助 OpenAI、Gemini、Ollama 等大模型用自然语言描述提取结构化数据。

自托管 API，借助 OCR 与 Ollama 大模型把 PDF、图片和 Office 文档转换为 Markdown 或结构化 JSON，并可去除个人隐私信息。

精选的本地运行大语言模型资源清单，涵盖推理平台、引擎、界面、模型与工具。

一款 Zotero 插件，可与单篇、多篇 PDF 或整个文献库对话，回答附可点击跳转的引用，并支持完全本地运行的模型。

跨平台桌面应用，借助本地或远程大模型为文件分类并建议更清晰的文件名，所有改动需先审核。

开源的本地音频与音乐创作工作室，支持 macOS 和 Windows，可完全离线运行语音合成、声音克隆和 AI 歌曲生成。

一个教学型 JavaScript 项目，使用本地 LLM 逐步从零实现检索增强生成（RAG），不依赖云端 API。

可自托管的求职管理工具，提供 AI 简历审阅、职位匹配、自动职位发现和 MCP 接口。

精选的本地运行大语言模型工具、平台、模型与教程资源列表。

本地 MCP 服务器，可将提示词路由到 ChatGPT、Claude、Gemini、Perplexity 网页会话或 BYOK/本地模型，供编辑器调用。

通过 USB-C 连接 iPhone，协助 Mac 本地运行 27B Qwen 模型，加快提示词读取并扩展上下文。

基于开源 YuE2 歌曲模型的 Windows 桌面工作室，在本地 NVIDIA 显卡上生成带人声的完整歌曲，并可编辑乐谱。

Spark-X2.5 是一套开源权重语言模型（4B 与 1.7B），面向本地与端侧的智能体编程和工具调用。

借助你自己的 OpenAI 兼容多模态模型，把 PDF、Office 文件、扫描件和截图转换为 Markdown。

一个框架，让 LLM 自主操控 Android 设备和电脑，完成界面操作任务，支持本地或远程模型。

一款开源的 macOS 划词弹出工具，可对选中文本执行转换、脚本、快捷指令、计算和 AI 操作。

基于本地模型运行的推理工具，把逐步推理结果保存为知识图谱，全部在本机通过 Ollama 运行。

一款 macOS 本地应用，用自然语言搜索任意文件夹中的照片和视频画面，推理全部在本机完成。

基于 Electron 的截图与标注工具，让 Claude Code 等 AI 编程助手把图表和预览渲染出来供人审阅。

本机优先的开源 AI 办公助理，一句话生成可编辑的 PPTX、DOCX、XLSX 和 HTML 文件。

一个在 Apple Silicon 上用 MLX 学习视觉语言模型推理的小型教学项目，对同一图片的候选答案直接打分。

基于 Tauri 的桌面数据探索与 SQL 查询工具，底层使用 ClickHouse，并支持 LLM 集成。

一个本地优先的浏览器自动化引擎与 Agent Skill，用本地 Qwen3.5 模型从可见页面元素中选择操作。

一款本地优先的桌面写作助手，可在本机完成校对、改写与格式整理，无需账号。

Chrome 扩展加本地 Python 服务，用 Ollama 为 YouTube 直播实时生成中英互译字幕。