Repolode
Tencent-Hunyuan

Tencent-Hunyuan/HunyuanDiT

腾讯开源的中英双语文生图扩散 Transformer 模型,可理解中文和英文提示词。

可替代:MidjourneyDALL-E 3

Star
4,290
Fork
365
未关闭 Issue
124
最近提交
14天前

这是什么?

Hunyuan-DiT 是一个在潜空间中工作的文生图扩散模型,采用 Transformer 作为去噪网络。它使用预训练 VAE 压缩图像,并结合双语 CLIP 与多语言 T5 编码器处理提示词,对中文和英文都有细粒度的理解,并支持多种分辨率输出。

仓库提供 PyTorch 模型定义、预训练权重(从 v1.0 到 v1.2,另有蒸馏版本),以及命令行、Gradio 网页界面和 Hugging Face Diffusers 的推理脚本。同时包含全参数训练与 LoRA 训练代码,支持 ControlNet 和 IP-Adapter,并提供 ComfyUI 与 Kohya 的集成。

项目还包含 DialogGen 多模态提示词增强模型,用于多轮对话式文生图,以及用于为训练数据重新生成描述的 Hunyuan-Captioner。推理需要支持 CUDA 的 NVIDIA GPU,最低约 11GB 显存;另提供基于 Diffusers 的 6GB 显存推理方案。

核心功能

  • 01支持中英文双语提示词的文生图生成。
  • 02支持多种图像分辨率,并提供多分辨率训练。
  • 03提供 LoRA 与全参数训练脚本。
  • 04支持 ControlNet(Canny、姿态、深度)和 IP-Adapter。
  • 05通过 DialogGen 提示词增强模型实现多轮对话式文生图。
  • 06可与 Hugging Face Diffusers、ComfyUI、Kohya 集成。

适用场景

  • 用中文提示词生成创意或设计用图。
  • 使用 LoRA 在自定义风格数据上微调文生图模型。
  • 借助姿态或深度等 ControlNet 条件进行可控图像生成。
  • 基于提供的 Gradio 示例搭建多轮图像创作助手。

快速上手

  1. 1

    在浏览器中通过腾讯混元助手试用模型

  2. 2

    按照 README 中的 Linux 安装指南进行安装

  3. 3

    按照 README 说明下载预训练模型

使用前须知

  • README 中的安装指南仅针对 Linux 系统。
  • 本地推理需要性能足够的 NVIDIA GPU,README 中提供了 6GB 显存的推理方案。
  • 元数据中未明确许可证(NOASSERTION),商业使用前请先核对许可条款。

标签

常见问题

HunyuanDiT 是什么?
腾讯开源的中英双语文生图扩散 Transformer 模型,可理解中文和英文提示词。 Hunyuan-DiT 是一个在潜空间中工作的文生图扩散模型,采用 Transformer 作为去噪网络。它使用预训练 VAE 压缩图像,并结合双语 CLIP 与多语言 T5 编码器处理提示词,对中文和英文都有细粒度的理解,并支持多种分辨率输出。
HunyuanDiT 可以免费使用吗?用的什么许可证?
HunyuanDiT 以 Other 许可证开源。用于商业产品前,请先确认许可证条款。
HunyuanDiT 还在维护吗?
活跃维护中。HunyuanDiT 最近一次提交是在 2026年10月8日。
HunyuanDiT 适合用来做什么?
用中文提示词生成创意或设计用图。 使用 LoRA 在自定义风格数据上微调文生图模型。 借助姿态或深度等 ControlNet 条件进行可控图像生成。 基于提供的 Gradio 示例搭建多轮图像创作助手。
HunyuanDiT 怎么安装和运行?
在浏览器中通过腾讯混元助手试用模型 按照 README 中的 Linux 安装指南进行安装 按照 README 说明下载预训练模型
在哪里获取 HunyuanDiT?
源代码和安装说明在 GitHub 上:https://github.com/Tencent-Hunyuan/HunyuanDiT

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目