Repolode
Enviar
hiyouga

hiyouga/LlamaFactory

Framework unificado para ajustar eficientemente más de 100 LLM y VLM con una CLI y una interfaz web sin código.

Ver en GitHubSitio web
Estrellas
75,601
Forks
9,275
Issues abiertos
1,197
Último commit
hace 22 horas

¿Qué es?

LlamaFactory es un framework para ajustar modelos de lenguaje grandes y modelos visión-lenguaje. Abarca una amplia variedad de familias de modelos, como LLaMA, Qwen, Gemma, DeepSeek, GLM y Mistral, además de muchas variantes multimodales, y permite entrenarlos sin escribir código, ya sea mediante una interfaz de línea de comandos o una interfaz web llamada LLaMA Board.

El proyecto admite ajuste de todos los parámetros, ajuste con capas congeladas, entrenamiento con LoRA y QLoRA cuantizado, así como preentrenamiento, ajuste fino supervisado, modelado de recompensas, PPO, DPO, KTO, ORPO y SimPO. También integra varias técnicas para reducir el uso de memoria y aumentar la velocidad, como FlashAttention-2, Unsloth y Liger Kernel, e incluye optimizadores como GaLore, BAdam y APOLLO.

Después del entrenamiento, los modelos se pueden servir mediante una API al estilo de OpenAI, con vLLM o SGLang como backends de inferencia opcionales. El seguimiento de experimentos es compatible con TensorBoard, Wandb, MLflow y SwanLab.

Funciones clave

  • 01Ajuste fino sin código mediante una CLI o la interfaz web LLaMA Board.
  • 02Admite LoRA, QLoRA y entrenamiento con todos los parámetros en más de 100 familias de modelos.
  • 03Incluye SFT, modelado de recompensas, PPO, DPO, KTO, ORPO y SimPO.
  • 04Admite modelos multimodales para comprender imágenes, videos y audio.
  • 05Permite servir modelos entrenados mediante una API al estilo de OpenAI, con vLLM o SGLang como backends.

Casos de uso

  • Adaptar a un conjunto de datos de un dominio específico un modelo de pesos abiertos como Qwen o Llama, sin escribir código de entrenamiento.
  • Comparar ejecuciones con LoRA y QLoRA cuando la memoria de la GPU es limitada.
  • Entrenar modelos de alineación con preferencias mediante DPO u ORPO.
  • Ajustar un modelo visión-lenguaje con datos personalizados de imágenes y texto.

Temas

#fine-tuning#llm#lora#qlora#peft#rlhf#multimodal#transformers#agent#ai

Preguntas frecuentes

¿Qué es LlamaFactory?
Framework unificado para ajustar eficientemente más de 100 LLM y VLM con una CLI y una interfaz web sin código. LlamaFactory es un framework para ajustar modelos de lenguaje grandes y modelos visión-lenguaje. Abarca una amplia variedad de familias de modelos, como LLaMA, Qwen, Gemma, DeepSeek, GLM y Mistral, además de muchas variantes multimodales, y permite entrenarlos sin escribir código, ya sea mediante una interfaz de línea de comandos o una interfaz web llamada LLaMA Board.
¿LlamaFactory es gratuito? ¿Qué licencia tiene?
LlamaFactory es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿LlamaFactory sigue mantenido?
Mantenimiento activo. El último commit de LlamaFactory fue el 19 oct 2026.
¿Para qué puedo usar LlamaFactory?
Adaptar a un conjunto de datos de un dominio específico un modelo de pesos abiertos como Qwen o Llama, sin escribir código de entrenamiento. Comparar ejecuciones con LoRA y QLoRA cuando la memoria de la GPU es limitada. Entrenar modelos de alineación con preferencias mediante DPO u ORPO. Ajustar un modelo visión-lenguaje con datos personalizados de imágenes y texto.
¿Dónde consigo LlamaFactory?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/hiyouga/LlamaFactory

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados