JakeATX/llamAmpere

这是什么？

核心功能

• 01针对 RTX 30 系列 Ampere 显卡优化，尤其是 RTX 3090 和 3090 Ti。
• 02支持运行内置 MTP 草稿头的 Qwen3.8 27B，以加快生成。
• 03提供 KV 缓存量化，支持 20 万 token 以上的上下文。
• 04可在显卡与系统内存之间拆分 Flash-Next 的专家层。
• 05通过 llama-server 提供兼容 OpenAI 的 HTTP 接口。

适用场景

• 在单张 RTX 3090 上本地运行长上下文的 Qwen3.8 模型。
• 在 24 GB 显卡上为编程或 RAG 工具提供本地的 OpenAI 兼容接口。
• 借助文档中的显存配置，在 12 GB 消费级显卡上尝试大上下文窗口。

快速上手

1. 1

   克隆 llamAmpere v0.6.2 版本

   git clone -b v0.6.2 https://github.com/JakeATX/llamAmpere.git
2. 2

   进入文件夹并为 RTX 30 系列（sm86）配置 CUDA 构建

   cd llamAmpere && cmake -S . -B build-sm86 -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86 -DLLAMA_BUILD_BORINGSSL=ON
3. 3

   构建 llama-server 程序

   cmake --build build-sm86 -j8 --target llama-server
4. 4

   使用 Swift 1.5 27B 模型启动服务器（首次启动时下载；监听 http://127.0.0.1:8080）

   ./build-sm86/bin/llama-server -hf jakeatx/qwen3.8-27b-Swift1.5-Uncensored-ATX-AI2 -c 204800 -ngl 99 -fa on -b 4096 -ub 1024 --parallel 1 --jinja --no-context-shift -ctk sjkvarn3 -ctv sjkvarn2 --sjkvarn-body-type auto --spec-type draft-mtp-adaptive --spec-draft-n-min-adaptive 3 --spec-draft-n-max 4 --spec-draft-p-min 0 --spec-mb-mtp

使用前须知

• !专为 NVIDIA RTX 30 系列（Ampere）显卡调优，主要针对 RTX 3090，其他显卡不是其目标。
• !快速开始需要 24 GB 显存的显卡和 CUDA 12 或更新版本的工具包，并且需要从源码构建。
• !模型文件非常大，发行说明称旧版文件格式已无法加载。

收录于专题

标签

常见问题

llamAmpere 是什么？

面向 NVIDIA RTX 30 系列 Ampere 显卡（主要是 RTX 3090）优化的 llama.cpp 分支，用于本地运行 Qwen3.8 模型。 llamAmpere 是 llama.cpp 的一个分支。llama.cpp 是在个人电脑上运行语言模型的开源程序。它针对 NVIDIA RTX 30 系列 Ampere 显卡做了优化，主要面向 RTX 3090 和 3090 Ti。项目重点支持 Qwen3.8 系列模型，包括内置 MTP 草稿头的 27B 模型，以及 Flash-Next 版本。MTP 草稿头会提前预测多个词，以加快生成速度。

llamAmpere 可以免费使用吗？用的什么许可证？

llamAmpere 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

llamAmpere 还在维护吗？

活跃维护中。llamAmpere 最近一次提交是在 2026年11月6日。

llamAmpere 适合用来做什么？

在单张 RTX 3090 上本地运行长上下文的 Qwen3.8 模型。 在 24 GB 显卡上为编程或 RAG 工具提供本地的 OpenAI 兼容接口。 借助文档中的显存配置，在 12 GB 消费级显卡上尝试大上下文窗口。

llamAmpere 怎么安装和运行？

克隆 llamAmpere v0.6.2 版本: git clone -b v0.6.2 https://github.com/JakeATX/llamAmpere.git 进入文件夹并为 RTX 30 系列（sm86）配置 CUDA 构建: cd llamAmpere && cmake -S . -B build-sm86 -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86 -DLLAMA_BUILD_BORINGSSL=ON 构建 llama-server 程序: cmake --build build-sm86 -j8 --target llama-server 使用 Swift 1.5 27B 模型启动服务器（首次启动时下载；监听 http://127.0.0.1:8080）: ./build-sm86/bin/llama-server -hf jakeatx/qwen3.8-27b-Swift1.5-Uncensored-ATX-AI2 -c 204800 -ngl 99 -fa on -b 4096 -ub 1024 --parallel 1 --jinja --no-context-shift -ctk sjkvarn3 -ctv sjkvarn2 --sjkvarn-body-type auto --spec-type draft-mtp-adaptive --spec-draft-n-min-adaptive 3 --spec-draft-n-max 4 --spec-draft-p-min 0 --spec-mb-mtp

在哪里获取 llamAmpere？

源代码和安装说明在 GitHub 上：https://github.com/JakeATX/llamAmpere