Código oficial de entrenamiento y referencia para RWKV, una arquitectura de modelo de lenguaje tipo RNN que también se puede entrenar en paralelo, como un transformer GPT.
RWKV-LM es el repositorio principal de entrenamiento y referencia para RWKV, una arquitectura de modelo de lenguaje que es una red neuronal recurrente, pero se puede entrenar en paralelo, como un transformer. El proyecto está actualmente en RWKV-7 "Goose" y el README describe su diseño como libre de atención, lineal en el tiempo y constante en memoria, sin KV cache. Durante la inferencia solo se transfiere un estado oculto de tamaño fijo de un token al siguiente, por lo que el uso de memoria no aumenta con la longitud del contexto.
El repositorio incluye la implementación de referencia para entrenar RWKV-7 (train_temp), kernels CUDA rápidos, scripts de demostración para los modos GPT, RNN y combinado, y código anterior de RWKV-4, 5 y 6. También documenta la preparación de datos de jsonl a formato binidx, configuraciones de entrenamiento con DeepSpeed y PyTorch Lightning, y reglas de inicialización y weight decay para reproducir un entrenamiento estable.
El ecosistema asociado incluye un paquete de RWKV para pip, pesos GGUF, proyectos de inferencia para móviles y WebGPU, y herramientas de fine-tuning como implementaciones de PEFT y RLHF mantenidas por otros colaboradores.
Instala PyTorch con las wheels de CUDA 12.1
pip install torch --upgrade --extra-index-url https://download.pytorch.org/whl/cu121Instala las dependencias de entrenamiento (mantén pytorch-lightning en la versión 1.9.5)
pip install pytorch-lightning==1.9.5 deepspeed wandb ninja --upgradeVe al directorio de entrenamiento de referencia de RWKV-7
cd RWKV-v7/train_temp/Descarga los datos de MiniPile en train_temp/data y, después, ejecuta el script de preparación
sh ./demo-training-prepare.shResumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Un entorno mínimo y fácil de modificar que cubre todo el flujo de trabajo de los LLM, desde la tokenización y el preentrenamiento hasta el ajuste fino, la evaluación y el chat, en un único nodo con GPU.
Un motor TypeScript que ejecuta inferencias de LLM íntegramente en el navegador con WebGPU y ofrece una API compatible con OpenAI.
Mamba es una arquitectura de modelado de secuencias para PyTorch basada en modelos selectivos de espacio de estados, que ofrece una alternativa a los Transformers con complejidad lineal para tareas de lenguaje y otras secuencias.
Código complementario del libro Build a Large Language Model (From Scratch) para implementar paso a paso un LLM similar a GPT en PyTorch.
Tutorial comentado de 12 capítulos que enseña a crear y entrenar desde cero, con Python y PyTorch, un GPT pequeño al estilo LLaMA.
Jan es una aplicación de escritorio de código abierto para descargar y ejecutar LLM localmente, con una interfaz similar a ChatGPT y conexión opcional a modelos en la nube.