Repolode
josStorer

josStorer/RWKV-Runner

Herramienta de escritorio que automatiza la descarga, el inicio y la administración de modelos de lenguaje grandes RWKV, y ofrece una API compatible con OpenAI.

Alternativa open source a:ChatGPT

Estrellas
6,488
Forks
594
Issues abiertos
180
Último commit
hace 2 meses

¿Qué es?

RWKV Runner es una herramienta ligera para administrar e iniciar RWKV, un modelo de lenguaje grande de código abierto. Se encarga de descargar, convertir y cargar modelos con una configuración mínima, por lo que no hace falta configurar manualmente entornos de Python ni dependencias. El programa principal es un ejecutable pequeño, de unos pocos megabytes.

El proyecto ofrece una interfaz compatible con la API de OpenAI, así que se pueden conectar clientes existentes de tipo ChatGPT a un modelo RWKV local con solo cambiar la URL de la API. También incluye interfaces de chat, completion y composición, una opción de WebUI integrada y ajustes predefinidos de VRAM para distintos equipos. El componente backend-python se puede implementar en un servidor y usar la aplicación de escritorio como cliente.

El repositorio incluye un backend de Python, un frontend y ejemplos de implementación. Es compatible con Windows, macOS y Linux.

Funciones clave

  • 01Inicio y administración de modelos RWKV con un solo clic e instalación automática de dependencias.
  • 02Endpoints compatibles con la API de OpenAI para usar con clientes ChatGPT existentes.
  • 03Configuraciones predefinidas de VRAM en varios niveles y modo WebGPU para GPU de AMD e Intel.
  • 04Interfaces integradas de chat, completion y composición, además de una herramienta para convertir modelos.
  • 05El frontend y el backend se pueden implementar por separado, con una opción de WebUI en el servidor.

Casos de uso

  • Ejecutar un modelo RWKV local sin configurar manualmente un entorno de Python.
  • Conectar herramientas o clientes de chat existentes compatibles con OpenAI a un modelo alojado por cuenta propia.
  • Implementar el backend en un servidor y usar la aplicación de escritorio como cliente.

Inicio rápido

  1. 1

    Clona el repositorio

    git clone https://github.com/josStorer/RWKV-Runner
  2. 2

    Entra en el directorio del proyecto

    cd RWKV-Runner
  3. 3

    Inicia el servicio de inferencia del backend (después, carga un modelo mediante la API /switch-model)

    python ./backend-python/main.py

Antes de usarlo

  • Windows Defender puede marcar el ejecutable como virus, por lo que quizá tengas que añadir manualmente una excepción de confianza.
  • El ajuste fino de LoRA solo está disponible en Windows.
  • Para ejecutar modelos RWKV grandes se necesita una cantidad considerable de VRAM o una configuración de GPU compatible.

Temas

Preguntas frecuentes

¿Qué es RWKV-Runner?
Herramienta de escritorio que automatiza la descarga, el inicio y la administración de modelos de lenguaje grandes RWKV, y ofrece una API compatible con OpenAI. RWKV Runner es una herramienta ligera para administrar e iniciar RWKV, un modelo de lenguaje grande de código abierto. Se encarga de descargar, convertir y cargar modelos con una configuración mínima, por lo que no hace falta configurar manualmente entornos de Python ni dependencias. El programa principal es un ejecutable pequeño, de unos pocos megabytes.
¿RWKV-Runner es gratuito? ¿Qué licencia tiene?
RWKV-Runner es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿RWKV-Runner sigue mantenido?
Actualizado en los últimos 6 meses. El último commit de RWKV-Runner fue el 4 sept 2026.
¿Para qué puedo usar RWKV-Runner?
Ejecutar un modelo RWKV local sin configurar manualmente un entorno de Python. Conectar herramientas o clientes de chat existentes compatibles con OpenAI a un modelo alojado por cuenta propia. Implementar el backend en un servidor y usar la aplicación de escritorio como cliente.
¿Cómo se instala RWKV-Runner?
Clona el repositorio: git clone https://github.com/josStorer/RWKV-Runner Entra en el directorio del proyecto: cd RWKV-Runner Inicia el servicio de inferencia del backend (después, carga un modelo mediante la API /switch-model): python ./backend-python/main.py
¿Dónde consigo RWKV-Runner?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/josStorer/RWKV-Runner

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados