josStorer/RWKV-Runner

这是什么？

核心功能

• 01一键启动和管理 RWKV 模型，并自动安装依赖。
• 02提供兼容 OpenAI API 的接口，可直接接入现有 ChatGPT 类客户端。
• 03预设多档显存配置，WebGPU 模式支持 AMD、Intel 等显卡。
• 04内置聊天、补全和作曲界面，以及模型转换工具。
• 05前端与后端可分开部署，也可启用服务端 WebUI。

适用场景

• 无需手动搭建 Python 环境，在本地运行 RWKV 模型。
• 将现有兼容 OpenAI API 的工具或聊天客户端接入自部署模型。
• 将后端部署在服务器上，用桌面程序作为客户端访问。

快速上手

1. 1

   克隆仓库

   git clone https://github.com/josStorer/RWKV-Runner
2. 2

   进入项目目录

   cd RWKV-Runner
3. 3

   启动后端推理服务（然后通过 /switch-model API 加载模型）

   python ./backend-python/main.py

使用前须知

• !Windows Defender 可能误报该可执行文件为病毒，需要手动添加信任例外。
• !LoRA 微调功能仅支持 Windows。
• !运行较大的 RWKV 模型需要大量显存或兼容的 GPU 配置。

标签

常见问题

RWKV-Runner 是什么？

一款自动化管理与启动 RWKV 大语言模型的桌面工具，并提供兼容 OpenAI API 的接口。 RWKV Runner 是一款用于管理和启动 RWKV 开源大语言模型的轻量工具，可自动完成模型下载、转换与加载，无需手动配置 Python 环境和依赖。主程序仅有几 MB。

RWKV-Runner 可以免费使用吗？用的什么许可证？

RWKV-Runner 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

RWKV-Runner 还在维护吗？

半年内有更新。RWKV-Runner 最近一次提交是在 2026年9月4日。

RWKV-Runner 适合用来做什么？

无需手动搭建 Python 环境，在本地运行 RWKV 模型。 将现有兼容 OpenAI API 的工具或聊天客户端接入自部署模型。 将后端部署在服务器上，用桌面程序作为客户端访问。

RWKV-Runner 怎么安装和运行？

克隆仓库: git clone https://github.com/josStorer/RWKV-Runner 进入项目目录: cd RWKV-Runner 启动后端推理服务（然后通过 /switch-model API 加载模型）: python ./backend-python/main.py

在哪里获取 RWKV-Runner？

源代码和安装说明在 GitHub 上：https://github.com/josStorer/RWKV-Runner