ashhart/TensorFold

这是什么？

核心功能

• 01以单个 Zig 二进制运行，支持 Metal（macOS）和 CUDA（Linux），无需 Python 或 MLX。
• 02提供兼容 OpenAI 的 chat 与 completions 接口，并支持 Responses 与 Anthropic Messages 接口。
• 03从 Hugging Face 拉取固定版本的模型，并校验文件哈希。
• 04通过 --parallel 限制并发请求数，其余请求排队等待。
• 05支持上下文压缩：保留最近的对话原文，将较早的内容压缩为记忆摘要。
• 06可选投机解码，被接受的 token 与普通解码结果一致。

适用场景

• 在 Apple Silicon Mac 上本地运行开源大模型。
• 在 NVIDIA GPU 服务器上搭建自托管的兼容 OpenAI 接口服务。
• 在两台 GB10 或两台 Mac 上部署较大的模型权重。
• 使用内置基准测试命令评估特定硬件上的模型质量与速度。

快速上手

1. 1

   在搭载 Apple Silicon 的 Mac 上通过 Homebrew 安装 TensorFold

   brew install ashhart/tensorfold/tensorfold
2. 2

   下载固定版本的 Qwen3.5-2B 模型权重

   tensorfold pull mlx-community/Qwen3.5-2B-MLX-4bit@93760be4f1f69842a46bc13dbdc0f19e291392a3
3. 3

   启动本地模型服务器

   tensorfold serve mlx-community/Qwen3.5-2B-MLX-4bit --name local-model --context 8192 --no-thinking

使用前须知

• !原生服务仅支持 Apple Silicon Metal 和 NVIDIA CUDA GPU。
• !多个模型路径仍处于实验阶段，README 中注明了部分检查点的已知问题。
• !模型权重有各自的许可证，与 Apache-2.0 引擎许可证不同。

收录于专题

标签

常见问题

TensorFold 是什么？

用 Zig 编写的本地大模型推理引擎，在 Apple Silicon（Metal）和 NVIDIA（CUDA）GPU 上直接提供模型服务，无需 Python 或 MLX。 TensorFold 是一个以单个 Zig 二进制文件形式交付的大模型推理服务。它直接读取模型权重、完成分词并运行 Metal 或 CUDA 内核，服务运行时不需要安装 Python 或 MLX。目前支持 Apple Silicon Mac 和 NVIDIA GPU（包括 GB10 系统），对外提供兼容 OpenAI 的 chat 和 completions 接口，并支持 Responses 与 Anthropic Messages 接口。

TensorFold 可以免费使用吗？用的什么许可证？

TensorFold 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

TensorFold 还在维护吗？

活跃维护中。TensorFold 最近一次提交是在 2026年11月6日。

TensorFold 适合用来做什么？

在 Apple Silicon Mac 上本地运行开源大模型。 在 NVIDIA GPU 服务器上搭建自托管的兼容 OpenAI 接口服务。 在两台 GB10 或两台 Mac 上部署较大的模型权重。 使用内置基准测试命令评估特定硬件上的模型质量与速度。

TensorFold 怎么安装和运行？

在搭载 Apple Silicon 的 Mac 上通过 Homebrew 安装 TensorFold: brew install ashhart/tensorfold/tensorfold 下载固定版本的 Qwen3.5-2B 模型权重: tensorfold pull mlx-community/Qwen3.5-2B-MLX-4bit@93760be4f1f69842a46bc13dbdc0f19e291392a3 启动本地模型服务器: tensorfold serve mlx-community/Qwen3.5-2B-MLX-4bit --name local-model --context 8192 --no-thinking

在哪里获取 TensorFold？

源代码和安装说明在 GitHub 上：https://github.com/ashhart/TensorFold