magnitudedev/magnitude

这是什么？

核心功能

• 01针对每个模型在本地芯片上调优内核，寻找更快的执行参数。
• 02支持 Apple Silicon、NVIDIA、AMD GPU 或仅使用 CPU 运行。
• 03每个模型内置投机解码的 drafter。
• 04使用量化 KV 缓存降低每个智能体会话的内存占用。
• 05并发会话共享前缀缓存，减少速度下降。
• 06提供兼容 OpenAI 的 API，并支持一键连接智能体。

适用场景

• 在 Mac 或 NVIDIA 工作站上本地运行开源大模型，供编程智能体使用。
• 在 Linux 或 macOS 服务器上部署本地模型，供多台机器访问。
• 避免使用云端推理接口，让提示词和文件保留在本地。

快速上手

1. 1

   从下载页面下载并安装 Magnitude

2. 2

   打开应用，在 Discover 中选择推荐模型并下载

3. 3

   在 Connections 中连接你的智能体并开始使用

使用前须知

• !模型下载时会进行内核调优，可能需要长达一分钟。
• !服务器部署功能仅在 Linux 和 macOS 上有文档说明。

标签

常见问题

magnitude 是什么？

开源推理引擎，针对你的硬件自动调优内核，让开源模型在 Apple Silicon、NVIDIA、AMD 或纯 CPU 上运行更快。 Magnitude 是一个用于在本地运行开源权重模型的推理引擎。模型下载时，它会在实际芯片上尝试不同的计算拆分方式，例如多少个 GPU 线程协同工作、数据提前加载多远，并保留不改变模型输出的最快组合。项目称，在 Mac 和 NVIDIA 硬件上运行常见本地模型时，平均比 Ollama 快约 2 倍。

magnitude 可以免费使用吗？用的什么许可证？

magnitude 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

magnitude 还在维护吗？

活跃维护中。magnitude 最近一次提交是在 2026年10月19日。

magnitude 适合用来做什么？

在 Mac 或 NVIDIA 工作站上本地运行开源大模型，供编程智能体使用。 在 Linux 或 macOS 服务器上部署本地模型，供多台机器访问。 避免使用云端推理接口，让提示词和文件保留在本地。

magnitude 怎么安装和运行？

从下载页面下载并安装 Magnitude 打开应用，在 Discover 中选择推荐模型并下载 在 Connections 中连接你的智能体并开始使用

在哪里获取 magnitude？

源代码和安装说明在 GitHub 上：https://github.com/magnitudedev/magnitude