Um toolkit para combinar pesos de modelos de linguagem grandes pré-treinados com diversos algoritmos de merge, usando CPU ou GPU.
7,4 mil+15 esta semana802PythonLGPL-3.0Atualizado há 6 dias
TinyLLaVA/TinyLLaVA_Factory
Base de código modular em PyTorch/Hugging Face para criar, treinar e avaliar modelos multimodais de pequena escala, com visão e linguagem.
- Estrelas
- 1,011
- Forks
- 100
- Issues abertas
- 114
- Último commit
- há 18 dias
O que é?
TinyLLaVA Factory é uma base de código modular para modelos multimodais de pequena escala que combinam um encoder de visão com um modelo de linguagem. A estrutura permite trocar o LLM, a torre de visão, o conector e a receita de treinamento de forma independente, facilitando a criação de modelos personalizados de visão e linguagem sem reescrever o código de treinamento.
O framework oferece suporte a LLMs como OpenELM, TinyLlama, StableLM, Qwen, Gemma e Phi; a torres de visão como CLIP, SigLIP e DINO; e a conectores como MLP, Q-Former e Resampler. As receitas de treinamento incluem ajustes com pesos congelados, completos e parciais, além de LoRA e QLoRA. O projeto também publica vários modelos pré-treinados, incluindo o TinyLLaVA-Phi-2-SigLIP-3.1B, com resultados de benchmark em VQA-v2, GQA, TextVQA, MME e outros conjuntos.
O repositório inclui uma demonstração web com Gradio, uma CLI para inferência, scripts de exemplo para treinamento e documentação sobre como preparar conjuntos de dados e executar avaliações.
Recursos principais
- 01Componentes intercambiáveis de LLM, torre de visão e conector para criar modelos multimodais personalizados.
- 02Receitas de treinamento para ajustes com pesos congelados, completos e parciais, além de LoRA e QLoRA.
- 03Modelos pré-treinados baseados em Phi-2, Gemma, Qwen e TinyLlama, com encoders de visão SigLIP ou CLIP.
- 04Demonstração web com Gradio e ferramentas de inferência pela linha de comando.
- 05Fluxos documentados para preparação de dados e avaliação.
Casos de uso
- Treinar um modelo pequeno de visão e linguagem em uma única GPU para responder a perguntas sobre imagens.
- Experimentar diferentes modelos de linguagem e encoders de visão em uma estrutura modular.
- Ajustar um modelo multimodal com LoRA usando um conjunto de dados personalizado de imagens e textos.
- Reproduzir resultados de treinamento e avaliação de LMMs de pequeno porte.
Início rápido
- 1
Clone o repositório
git clone https://github.com/TinyLLaVA/TinyLLaVA_Factory.git - 2
Acesse a pasta do projeto
cd TinyLLaVA_Factory - 3
Crie e ative um ambiente conda e instale o pacote
conda create -n tinyllava_factory python=3.10 -y && conda activate tinyllava_factory && pip install --upgrade pip && pip install -e . - 4
Inicie a demonstração web local do Gradio com um modelo pré-treinado
python tinyllava/serve/app.py --model-path tinyllava/TinyLLaVA-Phi-2-SigLIP-3.1B
Antes de usar
- O treinamento e a maioria das tarefas de inferência exigem um ambiente conda e uma GPU CUDA; flash-attn precisa ser compilado separadamente.
- Os requisitos do ambiente diferem dos do LLaVA, então talvez não seja possível reutilizar diretamente configurações existentes do LLaVA.
Em coleções
Tópicos
Perguntas frequentes
- O que é TinyLLaVA_Factory?
- Base de código modular em PyTorch/Hugging Face para criar, treinar e avaliar modelos multimodais de pequena escala, com visão e linguagem. TinyLLaVA Factory é uma base de código modular para modelos multimodais de pequena escala que combinam um encoder de visão com um modelo de linguagem. A estrutura permite trocar o LLM, a torre de visão, o conector e a receita de treinamento de forma independente, facilitando a criação de modelos personalizados de visão e linguagem sem reescrever o código de treinamento.
- TinyLLaVA_Factory é gratuito? Qual é a licença?
- TinyLLaVA_Factory é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- TinyLLaVA_Factory ainda é mantido?
- Manutenção ativa. O último commit de TinyLLaVA_Factory foi em 19 de out. de 2026.
- Para que posso usar TinyLLaVA_Factory?
- Treinar um modelo pequeno de visão e linguagem em uma única GPU para responder a perguntas sobre imagens. Experimentar diferentes modelos de linguagem e encoders de visão em uma estrutura modular. Ajustar um modelo multimodal com LoRA usando um conjunto de dados personalizado de imagens e textos. Reproduzir resultados de treinamento e avaliação de LMMs de pequeno porte.
- Como instalar TinyLLaVA_Factory?
- Clone o repositório: git clone https://github.com/TinyLLaVA/TinyLLaVA_Factory.git Acesse a pasta do projeto: cd TinyLLaVA_Factory Crie e ative um ambiente conda e instale o pacote: conda create -n tinyllava_factory python=3.10 -y && conda activate tinyllava_factory && pip install --upgrade pip && pip install -e . Inicie a demonstração web local do Gradio com um modelo pré-treinado: python tinyllava/serve/app.py --model-path tinyllava/TinyLLaVA-Phi-2-SigLIP-3.1B
- Onde consigo TinyLLaVA_Factory?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/TinyLLaVA/TinyLLaVA_Factory
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Pipeline de pré-treinamento do zero e SFT para um modelo pequeno no estilo LLaMA2 em chinês, executável em uma única GPU de 24 GB.
2,9 mil354PythonMITAtualizado há 3 meses
Uma lista selecionada de recursos, tutoriais, artigos, ferramentas e cursos sobre fine-tuning de grandes modelos de linguagem.
532+1 esta semana84Sem licençaAtualizado há 2 meses
Biblioteca da Hugging Face para Parameter-Efficient Fine-Tuning (PEFT), adaptando modelos pré-treinados grandes ao treinar apenas um pequeno conjunto de parâmetros adicionais.
21,9 mil+15 esta semana2,6 milPythonApache-2.0Bem mantidoAtualizado há 23 horas
Uma biblioteca da Hugging Face para pós-treinar modelos de linguagem transformer com SFT, GRPO, DPO, KTO e modelagem de recompensas.
19,7 mil+46 esta semana3,1 milPythonApache-2.0Atualizado há 13 horas
Componentes e arquiteturas do spaCy que integram modelos transformer do Hugging Face, como BERT, RoBERTa e XLNet, a pipelines do spaCy.
1,4 mil177PythonMITAtualizado anteontem