在家用 NVIDIA 或 AMD 显卡上本地运行大参数 Qwen3.8-Flash-Next 模型的推理引擎,提供兼容 OpenAI 与 Anthropic 的本地 API。
professorpalmer/mirai-s-ada
在 12 GB 显存的 RTX 4070 上部署 Mirai S 27B 模型,支持完整 262k 上下文窗口。
- Star
- 101
- Fork
- 10
- 未关闭 Issue
- 0
- 最近提交
- 12小时前
这是什么?
本项目是 Mirai S 27B 模型(基于 Qwen3.8-27B)在单张 12 GB 显存消费级显卡上的本地部署方案。模型使用 GGUF 转换版本,权重未作修改,Windows 下提供启动器,Linux 下提供 `start-server.sh` 脚本。
项目通过 q8_0 K/V 缓存和分层缓存方案,使 12 GB 显卡也能使用完整的 262,144 token 上下文窗口,并在各个上下文深度启用 MTP 草稿解码。仓库公开了多个上下文长度下的解码速度,以及 HumanEval 和 AppWorld 的测试结果。
此外还提供可选的 agent 层,用于在智能体工作流中运行模型,并附有构建步骤、配置说明、已知限制和保存的基准测试数据。
核心功能
- 01在 12 GB 显存的 RTX 4070 上使用 q8_0 K/V 缓存运行 262,144 token 上下文窗口。
- 02在各上下文深度启用 MTP 草稿解码。
- 03提供 Windows 启动器和 Linux 启动脚本。
- 04包含可选的 agent 层,用于智能体工作流。
- 05公开多个上下文长度下的解码速度与基准测试结果。
适用场景
- 在单张 12 GB 消费级显卡上本地运行支持长上下文的大语言模型。
- 在本地硬件上试验长上下文的智能体工作流。
- 在相近硬件上复现项目公布的速度和质量测试。
快速上手
- 1
阅读 Windows 和 Linux 的安装指南
- 2
运行 Linux 服务器脚本
start-server.sh
使用前须知
- 专为 12 GB 的 RTX 4070 设计,README 中的测试数据不涵盖其他硬件。
- 许可证标注为 NOASSERTION,授权条款不明确,使用前需要自行核实。
- 依赖第三方 GGUF 转换版本和实验性的上游模型。
标签
常见问题
- mirai-s-ada 是什么?
- 在 12 GB 显存的 RTX 4070 上部署 Mirai S 27B 模型,支持完整 262k 上下文窗口。 本项目是 Mirai S 27B 模型(基于 Qwen3.8-27B)在单张 12 GB 显存消费级显卡上的本地部署方案。模型使用 GGUF 转换版本,权重未作修改,Windows 下提供启动器,Linux 下提供 `start-server.sh` 脚本。
- mirai-s-ada 可以免费使用吗?用的什么许可证?
- mirai-s-ada 以 Other 许可证开源。用于商业产品前,请先确认许可证条款。
- mirai-s-ada 还在维护吗?
- 活跃维护中。mirai-s-ada 最近一次提交是在 2026年10月20日。
- mirai-s-ada 适合用来做什么?
- 在单张 12 GB 消费级显卡上本地运行支持长上下文的大语言模型。 在本地硬件上试验长上下文的智能体工作流。 在相近硬件上复现项目公布的速度和质量测试。
- mirai-s-ada 怎么安装和运行?
- 阅读 Windows 和 Linux 的安装指南 运行 Linux 服务器脚本: start-server.sh
- 在哪里获取 mirai-s-ada?
- 源代码和安装说明在 GitHub 上:https://github.com/professorpalmer/mirai-s-ada
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
2.8万3010C++MIT更新于 22小时前
纯 C/C++ 实现的 LLM 推理引擎,可在本地或云端运行大语言模型与视觉语言模型,支持多种硬件后端。
13.2万2.5万C++MIT更新于 6小时前
把开源大模型打包成单个可执行文件,无需安装即可在多数操作系统和 CPU 架构上运行。
2.6万1847C++Other更新于 9天前
一款开源桌面应用,用于在本地运行大语言模型,提供聊天界面和兼容 OpenAI/Anthropic 的 API。
4.8万5987PythonAGPL-3.0更新于 2个月前
微软官方推出的 1-bit 大语言模型推理框架,支持 CPU 与 GPU 上的低比特推理。
4.1万3836C++MIT更新于 3个月前
Python 库,逐层加载大语言模型,让 70B 级模型可在单张 4GB 显卡上推理,无需量化。
3.9万4026Jupyter NotebookApache-2.0更新于 昨天