Repolode
提交项目
Luce-Org

Luce-Org/lucebox

面向消费级 GPU 与异构机器的 C++ 大模型推理服务，结合投机解码、投机预填充与定制内核。

在 GitHub 查看官网
Star
2,954
Fork
286
未关闭 Issue
111
最近提交
15小时前

这是什么？

Lucebox 是一个用 C++ 编写的大模型推理服务，目标是让本地大模型在消费级硬件上跑得更快。它结合了投机解码（小型草稿模型先提出 token，再由目标模型校验）、用于压缩长提示词的投机预填充，以及针对具体模型和 GPU 调优的内核。服务在本地端口提供 OpenAI 兼容 API，并支持 Anthropic Messages 和 Responses 接口。

项目同时支持通过 CUDA 运行的 NVIDIA 显卡和通过 HIP/ROCm 运行的 AMD 显卡，并可把任务拆分到 Radeon R9700 与 Strix Halo APU 等异构设备上，还能把专家层卸载到 SSD。已支持的模型包括 Qwen 3.x、Gemma 4、Laguna XS 2.1 以及 DeepSeek V4 系列，并提供对应的 GGUF 权重和草稿模型。仓库同时提供面向 CUDA 12+ 与 ROCm 6+ 的 Docker 镜像。

此外，项目还包含针对 Claude Code、Codex、OpenCode、Open WebUI 等编程与对话客户端的启动脚本，以及图像生成（MOSS-Image）和图片输入支持。性能数据按硬件配置分别给出，不同配置之间不宜直接比较。

核心功能

  • 01借助草稿模型进行投机解码，加快 token 生成速度。
  • 02在主模型运行前对长提示词做投机预填充压缩。
  • 03提供 OpenAI 兼容、Anthropic Messages 和 Responses 等 API 接口。
  • 04同时支持 CUDA 与 HIP/ROCm 后端，可进行混合设备部署。
  • 05支持分页注意力与连续批处理，可同时服务多个并发请求。
  • 06提供预构建 Docker 镜像和面向特定硬件的启动配置。

适用场景

  • 在单张消费级 GPU 或 AMD APU 上本地运行大型开源权重模型。
  • 为编程代理和聊天客户端提供本地 OpenAI 兼容接口。
  • 在显存有限的家用工作站上处理长上下文提示词。
  • 在 NVIDIA 或 AMD 硬件上试验投机解码。

使用前须知

  • 页面可见的 README 没有给出安装或运行命令，因此从此页面无法确定具体设置步骤。
  • 基准测试和配置文件针对特定硬件，例如 R9700、Strix Halo 和 RTX 3090，徽章中也列出了 CUDA 12+ 或 HIP 7+ 的要求。

收录于专题

本地运行大模型GPU 加速的 AI 训练与推理工具

标签

#llm-inference#speculative-decoding#cuda#rocm#local-ai#gpu#c-plus-plus#cuda-kernels#dflash#heterogeneous-computing

常见问题

lucebox 是什么？
面向消费级 GPU 与异构机器的 C++ 大模型推理服务，结合投机解码、投机预填充与定制内核。 Lucebox 是一个用 C++ 编写的大模型推理服务，目标是让本地大模型在消费级硬件上跑得更快。它结合了投机解码（小型草稿模型先提出 token，再由目标模型校验）、用于压缩长提示词的投机预填充，以及针对具体模型和 GPU 调优的内核。服务在本地端口提供 OpenAI 兼容 API，并支持 Anthropic Messages 和 Responses 接口。
lucebox 可以免费使用吗？用的什么许可证？
lucebox 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
lucebox 还在维护吗？
活跃维护中。lucebox 最近一次提交是在 2026年10月24日。
lucebox 适合用来做什么？
在单张消费级 GPU 或 AMD APU 上本地运行大型开源权重模型。 为编程代理和聊天客户端提供本地 OpenAI 兼容接口。 在显存有限的家用工作站上处理长上下文提示词。 在 NVIDIA 或 AMD 硬件上试验投机解码。
在哪里获取 lucebox？
源代码和安装说明在 GitHub 上：https://github.com/Luce-Org/lucebox

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目