在浏览器中搭建场景、摆放角色、编排镜头运动,并将分镜交给 AI 视频模型的预演工具。
Friedrich-M/UniMate
一个统一的文本驱动动画模型,可为任意骨骼绑定的 3D 资产生成动作,涵盖人形、四足、鸟类、鱼类等骨架。
- Star
- 2,006
- Fork
- 217
- 未关闭 Issue
- 6
- 最近提交
- 13天前
这是什么?
UniMate 根据文本提示和骨骼绑定资产生成关节式 3D 动作,无需为每种骨架单独训练,也不需要推理时优化。模型基于 flow matching 构建,训练数据为 UniML3D,包含 7,430 副骨架上的 13,769 条带文本描述的动作片段,骨架类型覆盖双足、四足、鸟类、海洋生物、昆虫类、蛇形和刚体对象。
仓库提供数据处理流程、基于 JSON 配置和 Accelerate 的训练代码,以及推理脚本,可驱动数据集中的骨架或你自己的 GLB、glTF、FBX 绑定资产。rig_preprocess 工具会用 LLM 为关节打标签,并在构建前允许你检查标签。预训练权重已发布在 Hugging Face。
同一模型还支持关键帧之间的动作补间、保留部分关节并重新生成其余部分的文本引导编辑,以及将多段提示串联成更长动作的动作扩展。
核心功能
- 01无需为每种骨架单独训练,即可根据文本生成动作
- 02支持人形、四足、鸟类、海洋生物、昆虫类和刚体对象等骨架
- 03提供训练与推理代码、预训练权重以及 UniML3D 数据集
- 04通过关节标注预处理工具导入自有的 GLB、glTF 或 FBX 绑定资产
- 05无需额外训练即可进行关键帧补间、动作编辑和动作扩展
适用场景
- 为自定义 3D 角色或生物根据文本生成动画,用于游戏或影视预演
- 为四足动物、鸟类、鱼类等非人形资产生成动作
- 研究跨不同骨架拓扑的文本条件动作生成
- 在关键帧之间补全动作,或编辑已有动画的部分内容
快速上手
- 1
使用 Python 3.10 创建 conda 环境
conda create -n unimate python=3.10 -y - 2
激活该环境
conda activate unimate - 3
将 setuptools 固定在 81 以下版本
pip install "setuptools<81" - 4
安装项目依赖
pip install -r requirements.txt --no-build-isolation
使用前须知
- 要完整复现需要购买 Truebones ZOO 动作资源包,这是商业资产,不能再分发。
- 训练基于 Accelerate 并面向 GPU,包括多 GPU 运行,不适合仅用 CPU 的工作流。
- 目前发布的是预览版检查点,后续新检查点会替换它们,结果可能随之变化。
标签
常见问题
- UniMate 是什么?
- 一个统一的文本驱动动画模型,可为任意骨骼绑定的 3D 资产生成动作,涵盖人形、四足、鸟类、鱼类等骨架。 UniMate 根据文本提示和骨骼绑定资产生成关节式 3D 动作,无需为每种骨架单独训练,也不需要推理时优化。模型基于 flow matching 构建,训练数据为 UniML3D,包含 7,430 副骨架上的 13,769 条带文本描述的动作片段,骨架类型覆盖双足、四足、鸟类、海洋生物、昆虫类、蛇形和刚体对象。
- UniMate 可以免费使用吗?用的什么许可证?
- UniMate 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- UniMate 还在维护吗?
- 活跃维护中。UniMate 最近一次提交是在 2026年10月8日。
- UniMate 适合用来做什么?
- 为自定义 3D 角色或生物根据文本生成动画,用于游戏或影视预演 为四足动物、鸟类、鱼类等非人形资产生成动作 研究跨不同骨架拓扑的文本条件动作生成 在关键帧之间补全动作,或编辑已有动画的部分内容
- UniMate 怎么安装和运行?
- 使用 Python 3.10 创建 conda 环境: conda create -n unimate python=3.10 -y 激活该环境: conda activate unimate 将 setuptools 固定在 81 以下版本: pip install "setuptools<81" 安装项目依赖: pip install -r requirements.txt --no-build-isolation
- 在哪里获取 UniMate?
- 源代码和安装说明在 GitHub 上:https://github.com/Friedrich-M/UniMate
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
基于 Flow Matching 与 Diffusion Transformer 的开源语音合成系统,可用短参考音频进行零样本音色克隆。
一组可安装的技能包,为 AI 编程代理提供动效设计、After Effects、Remotion 视频、Logo 动画和动态背景的指导。
输入文字提示,即可让带骨骼的 3D 角色表演对应动作,基于 fal 视频模型与 GVHMR 动作还原。
面向 AI 编程 agent 的 HTML 原生设计 skill,一句话生成原型、幻灯片、动画与信息图。
O3DE(Open 3D Engine)是一款多平台实时 3D 引擎,用于开发游戏、影视级三维场景和仿真应用。