josStorer/RWKV-Runner

Что это?

Ключевые возможности

• 01Запуск и управление моделями RWKV одним нажатием, с автоматической установкой зависимостей.
• 02Эндпоинты, совместимые с OpenAI API, для работы с существующими клиентами ChatGPT.
• 03Готовые настройки VRAM разных уровней и режим WebGPU для видеокарт AMD и Intel.
• 04Встроенные интерфейсы для чата, генерации и составления текстов, а также инструмент для конвертации моделей.
• 05Фронтенд и бэкенд можно развёртывать отдельно; предусмотрен вариант с WebUI на сервере.

Сценарии использования

• Запуск локальной модели RWKV без ручной настройки окружения Python.
• Подключение существующих инструментов и чат-клиентов, совместимых с OpenAI, к собственной модели.
• Развёртывание бэкенда на сервере и использование настольного приложения в качестве клиента.

Быстрый старт

1. 1

   Клонируйте репозиторий

   git clone https://github.com/josStorer/RWKV-Runner
2. 2

   Перейдите в каталог проекта

   cd RWKV-Runner
3. 3

   Запустите сервер инференса на бэкенде (затем загрузите модель через API /switch-model)

   python ./backend-python/main.py

Что важно знать

• !Windows Defender может пометить исполняемый файл как вирус, поэтому может потребоваться вручную добавить его в исключения доверенных приложений.
• !Тонкая настройка LoRA доступна только в Windows.
• !Для запуска больших моделей RWKV требуется значительный объем VRAM или совместимая конфигурация GPU.

Темы

Частые вопросы

Что такое RWKV-Runner?

Настольное приложение для автоматической загрузки, запуска и управления большими языковыми моделями RWKV с API, совместимым с OpenAI. RWKV Runner — лёгкое приложение для управления и запуска RWKV, большой языковой модели с открытым исходным кодом. Оно загружает, конвертирует и запускает модели с минимальной настройкой, поэтому пользователям не нужно вручную настраивать окружение Python и зависимости. Основная программа — небольшой исполняемый файл размером в несколько мегабайт.

RWKV-Runner можно использовать бесплатно? Какая у него лицензия?

RWKV-Runner распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

RWKV-Runner всё ещё поддерживается?

Обновлялся за последние 6 месяцев. Последний коммит в RWKV-Runner — 4 сент. 2026 г..

Для чего можно использовать RWKV-Runner?

Запуск локальной модели RWKV без ручной настройки окружения Python. Подключение существующих инструментов и чат-клиентов, совместимых с OpenAI, к собственной модели. Развёртывание бэкенда на сервере и использование настольного приложения в качестве клиента.

Как установить RWKV-Runner?

Клонируйте репозиторий: git clone https://github.com/josStorer/RWKV-Runner Перейдите в каталог проекта: cd RWKV-Runner Запустите сервер инференса на бэкенде (затем загрузите модель через API /switch-model): python ./backend-python/main.py

Где скачать RWKV-Runner?

Исходный код и инструкции по установке — на GitHub: https://github.com/josStorer/RWKV-Runner