Repolode
Enviar
hiyouga

hiyouga/LlamaFactory

Framework unificado para ajustar 100+ LLMs e VLMs com eficiência, usando uma CLI e uma interface Web sem código.

Ver no GitHubSite
Estrelas
75,601
Forks
9,275
Issues abertas
1,197
Último commit
há 21 horas

O que é?

LlamaFactory é um framework para ajustar modelos de linguagem grandes e modelos de visão e linguagem. Ele abrange uma ampla variedade de famílias de modelos, incluindo LLaMA, Qwen, Gemma, DeepSeek, GLM, Mistral e diversas variantes multimodais, e permite que os usuários treinem sem escrever código, usando uma interface de linha de comando ou uma interface Web no navegador chamada LLaMA Board.

O projeto oferece suporte a ajuste de todos os parâmetros, freeze-tuning, LoRA e treinamento QLoRA quantizado, além de pré-treinamento, ajuste fino supervisionado, modelagem de recompensas, PPO, DPO, KTO, ORPO e SimPO. Também integra várias técnicas para economizar memória e acelerar o treinamento, como FlashAttention-2, Unsloth e Liger Kernel, e inclui otimizadores como GaLore, BAdam e APOLLO.

Após o treinamento, os modelos podem ser disponibilizados por uma API no estilo da OpenAI, com vLLM ou SGLang como backends opcionais de inferência. O acompanhamento de experimentos funciona com TensorBoard, Wandb, MLflow e SwanLab.

Recursos principais

  • 01Ajuste fino sem código usando uma CLI ou a interface Web LLaMA Board.
  • 02Oferece suporte a LoRA, QLoRA e treinamento com todos os parâmetros em mais de 100 famílias de modelos.
  • 03Abrange SFT, modelagem de recompensas, PPO, DPO, KTO, ORPO e SimPO.
  • 04Oferece suporte a modelos multimodais para compreensão de imagens, vídeos e áudio.
  • 05Disponibiliza modelos treinados por uma API no estilo da OpenAI, com backends vLLM ou SGLang.

Casos de uso

  • Adaptar um modelo de pesos abertos, como Qwen ou Llama, a um conjunto de dados de um domínio específico sem escrever código de treinamento.
  • Comparar execuções de LoRA e QLoRA com memória de GPU limitada.
  • Treinar modelos de alinhamento de preferências com DPO ou ORPO.
  • Ajustar um modelo de visão e linguagem com dados personalizados de imagem e texto.

Tópicos

#fine-tuning#llm#lora#qlora#peft#rlhf#multimodal#transformers#agent#ai

Perguntas frequentes

O que é LlamaFactory?
Framework unificado para ajustar 100+ LLMs e VLMs com eficiência, usando uma CLI e uma interface Web sem código. LlamaFactory é um framework para ajustar modelos de linguagem grandes e modelos de visão e linguagem. Ele abrange uma ampla variedade de famílias de modelos, incluindo LLaMA, Qwen, Gemma, DeepSeek, GLM, Mistral e diversas variantes multimodais, e permite que os usuários treinem sem escrever código, usando uma interface de linha de comando ou uma interface Web no navegador chamada LLaMA Board.
LlamaFactory é gratuito? Qual é a licença?
LlamaFactory é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
LlamaFactory ainda é mantido?
Manutenção ativa. O último commit de LlamaFactory foi em 19 de out. de 2026.
Para que posso usar LlamaFactory?
Adaptar um modelo de pesos abertos, como Qwen ou Llama, a um conjunto de dados de um domínio específico sem escrever código de treinamento. Comparar execuções de LoRA e QLoRA com memória de GPU limitada. Treinar modelos de alinhamento de preferências com DPO ou ORPO. Ajustar um modelo de visão e linguagem com dados personalizados de imagem e texto.
Onde consigo LlamaFactory?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/hiyouga/LlamaFactory

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados