Repolode
professorpalmer

professorpalmer/mirai-s-ada

在 12 GB 显存的 RTX 4070 上部署 Mirai S 27B 模型,支持完整 262k 上下文窗口。

Star
101
Fork
10
未关闭 Issue
0
最近提交
12小时前

这是什么?

本项目是 Mirai S 27B 模型(基于 Qwen3.8-27B)在单张 12 GB 显存消费级显卡上的本地部署方案。模型使用 GGUF 转换版本,权重未作修改,Windows 下提供启动器,Linux 下提供 `start-server.sh` 脚本。

项目通过 q8_0 K/V 缓存和分层缓存方案,使 12 GB 显卡也能使用完整的 262,144 token 上下文窗口,并在各个上下文深度启用 MTP 草稿解码。仓库公开了多个上下文长度下的解码速度,以及 HumanEval 和 AppWorld 的测试结果。

此外还提供可选的 agent 层,用于在智能体工作流中运行模型,并附有构建步骤、配置说明、已知限制和保存的基准测试数据。

核心功能

  • 01在 12 GB 显存的 RTX 4070 上使用 q8_0 K/V 缓存运行 262,144 token 上下文窗口。
  • 02在各上下文深度启用 MTP 草稿解码。
  • 03提供 Windows 启动器和 Linux 启动脚本。
  • 04包含可选的 agent 层,用于智能体工作流。
  • 05公开多个上下文长度下的解码速度与基准测试结果。

适用场景

  • 在单张 12 GB 消费级显卡上本地运行支持长上下文的大语言模型。
  • 在本地硬件上试验长上下文的智能体工作流。
  • 在相近硬件上复现项目公布的速度和质量测试。

快速上手

  1. 1

    阅读 Windows 和 Linux 的安装指南

  2. 2

    运行 Linux 服务器脚本

    start-server.sh

使用前须知

  • 专为 12 GB 的 RTX 4070 设计,README 中的测试数据不涵盖其他硬件。
  • 许可证标注为 NOASSERTION,授权条款不明确,使用前需要自行核实。
  • 依赖第三方 GGUF 转换版本和实验性的上游模型。

标签

常见问题

mirai-s-ada 是什么?
在 12 GB 显存的 RTX 4070 上部署 Mirai S 27B 模型,支持完整 262k 上下文窗口。 本项目是 Mirai S 27B 模型(基于 Qwen3.8-27B)在单张 12 GB 显存消费级显卡上的本地部署方案。模型使用 GGUF 转换版本,权重未作修改,Windows 下提供启动器,Linux 下提供 `start-server.sh` 脚本。
mirai-s-ada 可以免费使用吗?用的什么许可证?
mirai-s-ada 以 Other 许可证开源。用于商业产品前,请先确认许可证条款。
mirai-s-ada 还在维护吗?
活跃维护中。mirai-s-ada 最近一次提交是在 2026年10月20日。
mirai-s-ada 适合用来做什么?
在单张 12 GB 消费级显卡上本地运行支持长上下文的大语言模型。 在本地硬件上试验长上下文的智能体工作流。 在相近硬件上复现项目公布的速度和质量测试。
mirai-s-ada 怎么安装和运行?
阅读 Windows 和 Linux 的安装指南 运行 Linux 服务器脚本: start-server.sh
在哪里获取 mirai-s-ada?
源代码和安装说明在 GitHub 上:https://github.com/professorpalmer/mirai-s-ada

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目