Biblioteca de Python que ejecuta modelos de lenguaje grandes capa por capa para que los modelos de 70B puedan inferir en una sola GPU de 4 GB, sin cuantización.
39,5 mil4 milJupyter NotebookApache-2.0Actualizado ayer
baidu-baige/LoongForge
Framework de entrenamiento para LLM, VLM, modelos de difusión y modelos corporizados en GPU NVIDIA y XPU Kunlun, basado en Megatron-LM y backends nativos de torch.
- Estrellas
- 694
- Forks
- 58
- Issues abiertos
- 30
- Último commit
- hace 16 horas
¿Qué es?
LoongForge es un framework de entrenamiento del equipo Baige de Baidu AI Cloud para preentrenamiento, entrenamiento intermedio, SFT y LoRA en LLM, modelos de visión y lenguaje, modelos de difusión y modelos corporizados, como VLA y modelos de acción del mundo. Las cargas de trabajo de LLM, VLM y difusión se ejecutan en un backend de Megatron, mientras que los modelos corporizados usan un backend nativo de torch con DDP, ZeRO-1, FSDP y HSDP.
El proyecto incluye scripts de lanzamiento y configuraciones para más de 40 modelos de código abierto, además de herramientas para convertir checkpoints entre los formatos de Megatron y Hugging Face y para preprocesar datos. Admite GPU NVIDIA y XPU Kunlun mediante un diseño de plugins e incorpora funciones como la superposición de la comunicación entre expertos de MoE, el entrenamiento FP8, el paralelismo de contexto y el paralelismo heterogéneo por componente para VLM.
El repositorio está desarrollado en Python, tiene licencia Apache-2.0 y ofrece imágenes de Docker y documentación de instalación y tutoriales.
Funciones clave
- 01Backends de Megatron y nativos de torch para entrenar LLM, VLM, modelos de difusión y modelos corporizados.
- 02Scripts de lanzamiento y configuraciones listos para ejecutar para más de 40 modelos de código abierto.
- 03Se ejecuta en GPU NVIDIA y XPU Kunlun.
- 04Admite preentrenamiento, entrenamiento intermedio, SFT y LoRA.
- 05Incluye herramientas para convertir checkpoints entre Megatron y Hugging Face y para preprocesar datos.
- 06Ofrece optimización de la comunicación de MoE, entrenamiento FP8 y paralelismo de contexto.
Casos de uso
- Preentrenar o ajustar un modelo de lenguaje MoE grande en un clúster de GPU con varios nodos.
- Entrenar un modelo de visión y lenguaje con configuraciones de paralelismo independientes para las partes de ViT y LLM.
- Ajustar políticas robóticas VLA, como Pi0.5, con datos de LIBERO.
- Ejecutar cargas de trabajo de entrenamiento de modelos grandes en hardware XPU Kunlun.
Antes de usarlo
- Requiere GPU de NVIDIA o XPU Kunlun, por lo que no está pensado para otro hardware.
- El código fuente no se hizo público hasta abril de 2026 y la primera versión etiquetada es la v0.1.0, así que el proyecto es reciente.
Temas
Preguntas frecuentes
- ¿Qué es LoongForge?
- Framework de entrenamiento para LLM, VLM, modelos de difusión y modelos corporizados en GPU NVIDIA y XPU Kunlun, basado en Megatron-LM y backends nativos de torch. LoongForge es un framework de entrenamiento del equipo Baige de Baidu AI Cloud para preentrenamiento, entrenamiento intermedio, SFT y LoRA en LLM, modelos de visión y lenguaje, modelos de difusión y modelos corporizados, como VLA y modelos de acción del mundo. Las cargas de trabajo de LLM, VLM y difusión se ejecutan en un backend de Megatron, mientras que los modelos corporizados usan un backend nativo de torch con DDP, ZeRO-1, FSDP y HSDP.
- ¿LoongForge es gratuito? ¿Qué licencia tiene?
- LoongForge es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿LoongForge sigue mantenido?
- Mantenimiento activo. El último commit de LoongForge fue el 19 oct 2026.
- ¿Para qué puedo usar LoongForge?
- Preentrenar o ajustar un modelo de lenguaje MoE grande en un clúster de GPU con varios nodos. Entrenar un modelo de visión y lenguaje con configuraciones de paralelismo independientes para las partes de ViT y LLM. Ajustar políticas robóticas VLA, como Pi0.5, con datos de LIBERO. Ejecutar cargas de trabajo de entrenamiento de modelos grandes en hardware XPU Kunlun.
- ¿Dónde consigo LoongForge?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/baidu-baige/LoongForge
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Motor de inferencia local que ejecuta el gran modelo Qwen3.8-Flash-Next en GPU NVIDIA o AMD de consumo con Windows o Linux, mediante APIs compatibles con OpenAI y Anthropic.
28,4 mil3 milC++MITActualizado hace 16 horas
Una CLI que detecta tu GPU, CPU y RAM, y clasifica los LLM locales de HuggingFace que realmente funcionan en tu hardware según benchmarks, no por cantidad de parámetros.
6,8 mil373PythonMITActualizado hace 23 horas
Modelo multimodal de pesos abiertos y 9B parámetros para comprensión visual, razonamiento espacial, uso de herramientas por agentes e investigación en IA corporeizada, basado en Qwen3.5 y C-RADIOv4-H.
3,1 mil540PythonApache-2.0Actualizado el mes pasado
Motor de entrenamiento unificado para modelos multimodales, compatible con VLM, difusión y entrenamiento de LLM con FSDP2, Muon y kernels de Liger.
83238PythonSin licenciaActualizado anteayer
Configuración para servir Mirai S 27B (un Qwen3.8-27B GGUF) en una RTX 4070 de 12 GB, con una ventana completa de 262k tokens y caché K/V q8_0.
10110PythonOtherActualizado hace 5 horas