Repolode
Friedrich-M

Friedrich-M/UniMate

一个统一的文本驱动动画模型,可为任意骨骼绑定的 3D 资产生成动作,涵盖人形、四足、鸟类、鱼类等骨架。

Star
2,006
Fork
217
未关闭 Issue
6
最近提交
13天前

这是什么?

UniMate 根据文本提示和骨骼绑定资产生成关节式 3D 动作,无需为每种骨架单独训练,也不需要推理时优化。模型基于 flow matching 构建,训练数据为 UniML3D,包含 7,430 副骨架上的 13,769 条带文本描述的动作片段,骨架类型覆盖双足、四足、鸟类、海洋生物、昆虫类、蛇形和刚体对象。

仓库提供数据处理流程、基于 JSON 配置和 Accelerate 的训练代码,以及推理脚本,可驱动数据集中的骨架或你自己的 GLB、glTF、FBX 绑定资产。rig_preprocess 工具会用 LLM 为关节打标签,并在构建前允许你检查标签。预训练权重已发布在 Hugging Face。

同一模型还支持关键帧之间的动作补间、保留部分关节并重新生成其余部分的文本引导编辑,以及将多段提示串联成更长动作的动作扩展。

核心功能

  • 01无需为每种骨架单独训练,即可根据文本生成动作
  • 02支持人形、四足、鸟类、海洋生物、昆虫类和刚体对象等骨架
  • 03提供训练与推理代码、预训练权重以及 UniML3D 数据集
  • 04通过关节标注预处理工具导入自有的 GLB、glTF 或 FBX 绑定资产
  • 05无需额外训练即可进行关键帧补间、动作编辑和动作扩展

适用场景

  • 为自定义 3D 角色或生物根据文本生成动画,用于游戏或影视预演
  • 为四足动物、鸟类、鱼类等非人形资产生成动作
  • 研究跨不同骨架拓扑的文本条件动作生成
  • 在关键帧之间补全动作,或编辑已有动画的部分内容

快速上手

  1. 1

    使用 Python 3.10 创建 conda 环境

    conda create -n unimate python=3.10 -y
  2. 2

    激活该环境

    conda activate unimate
  3. 3

    将 setuptools 固定在 81 以下版本

    pip install "setuptools<81"
  4. 4

    安装项目依赖

    pip install -r requirements.txt --no-build-isolation

使用前须知

  • 要完整复现需要购买 Truebones ZOO 动作资源包,这是商业资产,不能再分发。
  • 训练基于 Accelerate 并面向 GPU,包括多 GPU 运行,不适合仅用 CPU 的工作流。
  • 目前发布的是预览版检查点,后续新检查点会替换它们,结果可能随之变化。

标签

常见问题

UniMate 是什么?
一个统一的文本驱动动画模型,可为任意骨骼绑定的 3D 资产生成动作,涵盖人形、四足、鸟类、鱼类等骨架。 UniMate 根据文本提示和骨骼绑定资产生成关节式 3D 动作,无需为每种骨架单独训练,也不需要推理时优化。模型基于 flow matching 构建,训练数据为 UniML3D,包含 7,430 副骨架上的 13,769 条带文本描述的动作片段,骨架类型覆盖双足、四足、鸟类、海洋生物、昆虫类、蛇形和刚体对象。
UniMate 可以免费使用吗?用的什么许可证?
UniMate 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
UniMate 还在维护吗?
活跃维护中。UniMate 最近一次提交是在 2026年10月8日。
UniMate 适合用来做什么?
为自定义 3D 角色或生物根据文本生成动画,用于游戏或影视预演 为四足动物、鸟类、鱼类等非人形资产生成动作 研究跨不同骨架拓扑的文本条件动作生成 在关键帧之间补全动作,或编辑已有动画的部分内容
UniMate 怎么安装和运行?
使用 Python 3.10 创建 conda 环境: conda create -n unimate python=3.10 -y 激活该环境: conda activate unimate 将 setuptools 固定在 81 以下版本: pip install "setuptools<81" 安装项目依赖: pip install -r requirements.txt --no-build-isolation
在哪里获取 UniMate?
源代码和安装说明在 GitHub 上:https://github.com/Friedrich-M/UniMate

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目