TinyLLaVA/TinyLLaVA_Factory

这是什么？

核心功能

• 01LLM、视觉塔和连接器组件可自由替换，用于构建定制的多模态模型。
• 02支持冻结、全量、部分微调，以及 LoRA 和 QLoRA 训练方案。
• 03提供基于 Phi-2、Gemma、Qwen、TinyLlama 的预训练模型，视觉编码器为 SigLIP 或 CLIP。
• 04提供 Gradio 网页演示和命令行推理工具。
• 05附带数据准备与模型评测的说明文档。

适用场景

• 在单张 GPU 上训练小型视觉语言模型，用于图像问答。
• 在模块化框架中对比不同语言模型与视觉编码器的效果。
• 使用 LoRA 在自定义图文数据集上微调多模态模型。
• 复现小规模多模态大模型的训练与评测结果。

快速上手

1. 1

   克隆仓库

   git clone https://github.com/TinyLLaVA/TinyLLaVA_Factory.git
2. 2

   进入项目文件夹

   cd TinyLLaVA_Factory
3. 3

   创建并激活 conda 环境，然后安装本包

   conda create -n tinyllava_factory python=3.10 -y && conda activate tinyllava_factory && pip install --upgrade pip && pip install -e .
4. 4

   使用预训练模型启动本地 Gradio 网页演示

   python tinyllava/serve/app.py --model-path tinyllava/TinyLLaVA-Phi-2-SigLIP-3.1B

使用前须知

• !训练及大多数推理需要 conda 环境和 CUDA GPU，且 flash-attn 需要单独编译安装。
• !其环境要求与 LLaVA 不同，已有的 LLaVA 环境可能无法直接复用。

收录于专题

标签

常见问题

TinyLLaVA_Factory 是什么？

基于 PyTorch 与 Hugging Face 的模块化代码库，用于构建、训练和评估小规模多模态视觉语言大模型。 TinyLLaVA Factory 是一个面向小规模多模态大模型的模块化代码库，将视觉编码器与语言模型组合在一起。LLM、视觉塔、连接器和训练方案可以相互独立替换，便于在不重写训练代码的前提下定制自己的视觉语言模型。

TinyLLaVA_Factory 可以免费使用吗？用的什么许可证？

TinyLLaVA_Factory 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

TinyLLaVA_Factory 还在维护吗？

活跃维护中。TinyLLaVA_Factory 最近一次提交是在 2026年10月19日。

TinyLLaVA_Factory 适合用来做什么？

在单张 GPU 上训练小型视觉语言模型，用于图像问答。 在模块化框架中对比不同语言模型与视觉编码器的效果。 使用 LoRA 在自定义图文数据集上微调多模态模型。 复现小规模多模态大模型的训练与评测结果。

TinyLLaVA_Factory 怎么安装和运行？

克隆仓库: git clone https://github.com/TinyLLaVA/TinyLLaVA_Factory.git 进入项目文件夹: cd TinyLLaVA_Factory 创建并激活 conda 环境，然后安装本包: conda create -n tinyllava_factory python=3.10 -y && conda activate tinyllava_factory && pip install --upgrade pip && pip install -e . 使用预训练模型启动本地 Gradio 网页演示: python tinyllava/serve/app.py --model-path tinyllava/TinyLLaVA-Phi-2-SigLIP-3.1B

在哪里获取 TinyLLaVA_Factory？

源代码和安装说明在 GitHub 上：https://github.com/TinyLLaVA/TinyLLaVA_Factory