Kit de herramientas para combinar los pesos de modelos de lenguaje grandes preentrenados mediante diversos algoritmos de fusión, en CPU o GPU.
7,4 mil+13 esta semana803PythonLGPL-3.0Actualizado hace 7 días
TinyLLaVA/TinyLLaVA_Factory
Base de código modular para PyTorch/Hugging Face, orientada a crear, entrenar y evaluar modelos multimodales pequeños de visión y lenguaje.
- Estrellas
- 1,011
- Forks
- 100
- Issues abiertos
- 114
- Último commit
- hace 19 días
¿Qué es?
TinyLLaVA Factory es una base de código modular para modelos multimodales pequeños que combinan un encoder de visión con un modelo de lenguaje. Está organizada para poder cambiar por separado el LLM, la torre de visión, el conector y la receta de entrenamiento, lo que facilita crear modelos personalizados de visión y lenguaje sin tener que reescribir el código de entrenamiento.
El framework admite LLM como OpenELM, TinyLlama, StableLM, Qwen, Gemma y Phi; torres de visión como CLIP, SigLIP y DINO; y conectores como MLP, Q-Former y Resampler. Las recetas de entrenamiento incluyen ajuste con pesos congelados, completo y parcial, además de LoRA y QLoRA. El proyecto también publica varios modelos preentrenados, entre ellos TinyLLaVA-Phi-2-SigLIP-3.1B, con resultados en benchmarks como VQA-v2, GQA, TextVQA y MME, entre otros.
El repositorio incluye una demo web con Gradio, una CLI para inferencia, scripts de ejemplo para entrenamiento y documentación sobre cómo preparar datasets y ejecutar evaluaciones.
Funciones clave
- 01Componentes intercambiables de LLM, torre de visión y conector para crear modelos multimodales personalizados.
- 02Recetas de entrenamiento con pesos congelados y ajuste completo, parcial, LoRA y QLoRA.
- 03Modelos preentrenados basados en Phi-2, Gemma, Qwen y TinyLlama, con encoders de visión SigLIP o CLIP.
- 04Demo web con Gradio y herramientas de inferencia por línea de comandos.
- 05Flujos de trabajo documentados para preparar datos y realizar evaluaciones.
Casos de uso
- Entrenar un modelo pequeño de visión y lenguaje en una sola GPU para responder preguntas sobre imágenes.
- Probar distintos modelos de lenguaje y encoders de visión con una configuración modular.
- Ajustar un modelo multimodal con LoRA usando un dataset personalizado de imágenes y texto.
- Reproducir resultados de entrenamiento y evaluación de LMM pequeños.
Inicio rápido
- 1
Clona el repositorio
git clone https://github.com/TinyLLaVA/TinyLLaVA_Factory.git - 2
Entra en la carpeta del proyecto
cd TinyLLaVA_Factory - 3
Crea y activa un entorno conda e instala el paquete
conda create -n tinyllava_factory python=3.10 -y && conda activate tinyllava_factory && pip install --upgrade pip && pip install -e . - 4
Inicia la demo web local de Gradio con un modelo preentrenado
python tinyllava/serve/app.py --model-path tinyllava/TinyLLaVA-Phi-2-SigLIP-3.1B
Antes de usarlo
- Para el entrenamiento y la mayoría de las tareas de inferencia se necesita un entorno conda y una GPU CUDA; flash-attn debe compilarse por separado.
- Los requisitos del entorno son distintos de los de LLaVA, por lo que quizá no puedas reutilizar directamente una configuración existente de LLaVA.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es TinyLLaVA_Factory?
- Base de código modular para PyTorch/Hugging Face, orientada a crear, entrenar y evaluar modelos multimodales pequeños de visión y lenguaje. TinyLLaVA Factory es una base de código modular para modelos multimodales pequeños que combinan un encoder de visión con un modelo de lenguaje. Está organizada para poder cambiar por separado el LLM, la torre de visión, el conector y la receta de entrenamiento, lo que facilita crear modelos personalizados de visión y lenguaje sin tener que reescribir el código de entrenamiento.
- ¿TinyLLaVA_Factory es gratuito? ¿Qué licencia tiene?
- TinyLLaVA_Factory es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿TinyLLaVA_Factory sigue mantenido?
- Mantenimiento activo. El último commit de TinyLLaVA_Factory fue el 19 oct 2026.
- ¿Para qué puedo usar TinyLLaVA_Factory?
- Entrenar un modelo pequeño de visión y lenguaje en una sola GPU para responder preguntas sobre imágenes. Probar distintos modelos de lenguaje y encoders de visión con una configuración modular. Ajustar un modelo multimodal con LoRA usando un dataset personalizado de imágenes y texto. Reproducir resultados de entrenamiento y evaluación de LMM pequeños.
- ¿Cómo se instala TinyLLaVA_Factory?
- Clona el repositorio: git clone https://github.com/TinyLLaVA/TinyLLaVA_Factory.git Entra en la carpeta del proyecto: cd TinyLLaVA_Factory Crea y activa un entorno conda e instala el paquete: conda create -n tinyllava_factory python=3.10 -y && conda activate tinyllava_factory && pip install --upgrade pip && pip install -e . Inicia la demo web local de Gradio con un modelo preentrenado: python tinyllava/serve/app.py --model-path tinyllava/TinyLLaVA-Phi-2-SigLIP-3.1B
- ¿Dónde consigo TinyLLaVA_Factory?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/TinyLLaVA/TinyLLaVA_Factory
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Pipeline desde cero de preentrenamiento y SFT para un modelo pequeño de estilo LLaMA2 en chino, ejecutable en una sola GPU de 24 GB.
2,9 mil353PythonMITActualizado hace 3 meses
Una lista seleccionada de recursos, tutoriales, artículos, herramientas y cursos para ajustar modelos de lenguaje grandes.
532+1 esta semana84Sin licenciaActualizado hace 2 meses
Biblioteca de Hugging Face para Parameter-Efficient Fine-Tuning (PEFT), que adapta modelos preentrenados grandes entrenando solo un pequeño conjunto de parámetros adicionales.
21,9 mil+11 esta semana2,7 milPythonApache-2.0Bien mantenidoActualizado hace 3 días
Una biblioteca de Hugging Face para el postentrenamiento de modelos de lenguaje transformer con SFT, GRPO, DPO, KTO y modelado de recompensas.
19,7 mil+45 esta semana3,1 milPythonApache-2.0Actualizado hace 2 horas
Componentes y arquitecturas de spaCy que integran modelos transformer de Hugging Face, como BERT, RoBERTa y XLNet, en pipelines de spaCy.
1,4 mil177PythonMITActualizado hace 4 días