Repolode
提交项目
carloslfu

carloslfu/slotstream

基于 Swift、MLX 和 Metal 的原生引擎，让 16–64 GB 的 Apple Silicon Mac 通过 SSD 流式加载 105 GB 的模型。

在 GitHub 查看
Star
656
Fork
54
未关闭 Issue
77
最近提交
3天前

这是什么？

Slotstream 是一个面向 Apple Silicon Mac 的本地推理引擎，使用 Swift 基于 Apple 的 MLX 和 Metal 编写。它运行一个权重远超系统内存的混合专家（MoE）模型：共享权重常驻内存，每个 token 所需的专家从 SSD 读入有上限的缓存，常用专家则保留在内存中。模型下载完成后，推理完全在本机进行，无需 Python 运行时或云服务账号。

当前发布的引擎面向 16 到 64 GB 内存的 Mac，默认模型为 Qwen3.8-Flash-Next 4-bit。自动模式会在启动时选择内存预算、缓存大小、投机解码和上下文窗口；其他应用需要内存时，缓存会相应缩小。项目提供命令行工具、兼容 Ollama、OpenAI 与 Anthropic 的 HTTP API，以及 Swift 库。`slotstream launch` 命令可以直接启动已连接本地服务的 Claude Code、Codex、Pi、opencode 或 Hermes。

引擎要求 macOS 14 或更高版本及 Apple Silicon 芯片，不支持 Windows、Linux 和 Intel Mac。

核心功能

  • 01将混合专家模型的权重从 SSD 流式读入有上限的内存专家缓存。
  • 02自动内存规划会为当前 Mac 选择缓存大小、上下文窗口和投机解码。
  • 03提供兼容 Ollama、OpenAI 和 Anthropic 的 API，便于本地应用接入。
  • 04通过一条命令即可让 Claude Code、Codex、Pi、opencode 或 Hermes 连接本地模型。
  • 05提供 Swift 库，可将引擎嵌入原生应用。
  • 06模型下载完成后可完全离线运行。

适用场景

  • 在无法将全部权重装入内存的 16–64 GB Mac 上运行大型开源权重模型。
  • 让 Claude Code 或 Codex 使用本地模型，代码不离开本机。
  • 将 Open WebUI 等本地聊天前端连接到离线模型服务。
  • 在用 Swift 编写的原生 macOS 应用中嵌入本地大模型。

快速上手

  1. 1

    运行 README 中的官方安装脚本

  2. 2

    检查 Mac 的内存和磁盘空间

    slotstream doctor
  3. 3

    向模型提问获取第一条回复(首次运行会下载模型)

    slotstream run --prompt "Why is the sky blue?"

使用前须知

  • 仅支持运行 macOS 14 或更高版本的 Apple Silicon Mac;不支持 Windows、Linux 和 Intel Mac。
  • 默认模型需要至少 16 GB 内存和约 110 GB 可用磁盘空间。
  • 首次运行需要下载约 105 GB 的模型,可能耗时数小时。
  • Slotstream 只维护一个模型,即 Qwen3.8-Flash-Next 4-bit。

收录于专题

Claude Code 工具、技能与插件本地运行大模型开源 Mac 应用

标签

#apple-silicon#local-llm#mlx#swift#metal#mixture-of-experts#inference-engine#ollama-compatible#claude-code#llm

常见问题

slotstream 是什么？
基于 Swift、MLX 和 Metal 的原生引擎，让 16–64 GB 的 Apple Silicon Mac 通过 SSD 流式加载 105 GB 的模型。 Slotstream 是一个面向 Apple Silicon Mac 的本地推理引擎，使用 Swift 基于 Apple 的 MLX 和 Metal 编写。它运行一个权重远超系统内存的混合专家（MoE）模型：共享权重常驻内存，每个 token 所需的专家从 SSD 读入有上限的缓存，常用专家则保留在内存中。模型下载完成后，推理完全在本机进行，无需 Python 运行时或云服务账号。
slotstream 可以免费使用吗？用的什么许可证？
slotstream 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
slotstream 还在维护吗？
活跃维护中。slotstream 最近一次提交是在 2026年11月4日。
slotstream 适合用来做什么？
在无法将全部权重装入内存的 16–64 GB Mac 上运行大型开源权重模型。 让 Claude Code 或 Codex 使用本地模型，代码不离开本机。 将 Open WebUI 等本地聊天前端连接到离线模型服务。 在用 Swift 编写的原生 macOS 应用中嵌入本地大模型。
slotstream 怎么安装和运行？
运行 README 中的官方安装脚本 检查 Mac 的内存和磁盘空间: slotstream doctor 向模型提问获取第一条回复(首次运行会下载模型): slotstream run --prompt "Why is the sky blue?"
在哪里获取 slotstream？
源代码和安装说明在 GitHub 上：https://github.com/carloslfu/slotstream

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目