Repolode
Friedrich-M

Friedrich-M/UniMate

Унифицированная модель преобразования текста в движение, которая создаёт анимацию для произвольных скелетов с ригом — от гуманоидов до четвероногих, птиц, рыб и насекомых.

Звёзды
2,006
Форки
217
Открытые issues
6
Последний коммит
12 дней назад

Что это?

UniMate генерирует артикулированное 3D-движение по текстовому запросу и модели с ригом. Она работает со скелетами разной топологии без переобучения для каждого скелета и оптимизации во время инференса. Модель построена на flow matching и обучена на UniML3D — наборе данных из 13 769 пар текстовых описаний и клипов движений, охватывающем 7 430 скелетов: двуногих, четвероногих, птиц, морских животных, насекомых, змей и ригов жёстких объектов.

В репозитории есть конвейер обработки данных для набора, код обучения на основе JSON-конфигов и Accelerate, а также скрипты инференса для анимации скелетов из набора данных или ваших моделей с ригом в форматах GLB, glTF и FBX. Инструмент rig_preprocess размечает суставы с помощью LLM и позволяет проверить разметку перед созданием модели. Готовые чекпоинты опубликованы на Hugging Face.

Та же модель поддерживает интерполяцию движения между ключевыми кадрами, редактирование по текстовому запросу с сохранением выбранных суставов и генерацией остальных, а также расширение движения — объединение нескольких запросов в один длинный клип.

Ключевые возможности

  • 01Генерирует движения для произвольных скелетов по текстовому запросу без переобучения для каждого скелета
  • 02Поддерживает риги гуманоидов, четвероногих, птиц, морских животных, насекомых и жёстких объектов
  • 03Предоставляет код обучения и инференса, готовые чекпоинты и набор данных UniML3D
  • 04Импортирует пользовательские модели с ригом в форматах GLB, glTF и FBX с помощью инструмента предварительной обработки и разметки суставов
  • 05Поддерживает интерполяцию между ключевыми кадрами, редактирование и расширение движения без дополнительного обучения

Сценарии использования

  • Анимация пользовательских 3D-персонажей и существ по текстовым запросам для игр или предварительной визуализации фильмов
  • Генерация движений для нечеловекоподобных моделей, например четвероногих, птиц или рыб
  • Исследования генерации движений по текстовым условиям для скелетов с разной топологией
  • Заполнение промежутков между ключевыми кадрами или редактирование отдельных частей существующей анимации

Быстрый старт

  1. 1

    Создайте окружение conda с Python 3.10

    conda create -n unimate python=3.10 -y
  2. 2

    Активируйте окружение

    conda activate unimate
  3. 3

    Зафиксируйте версию setuptools ниже 81

    pip install "setuptools<81"
  4. 4

    Установите зависимости проекта

    pip install -r requirements.txt --no-build-isolation

Что важно знать

  • Для полного воспроизведения нужен Truebones ZOO motion pack — коммерческий ресурс, который необходимо приобрести и нельзя распространять.
  • Обучение настроено на использование GPU с Accelerate, включая запуски на нескольких GPU, поэтому этот процесс не подходит для CPU.
  • Опубликованы предварительные чекпойнты, которые будут заменены новыми, поэтому результаты могут измениться.

Темы

Частые вопросы

Что такое UniMate?
Унифицированная модель преобразования текста в движение, которая создаёт анимацию для произвольных скелетов с ригом — от гуманоидов до четвероногих, птиц, рыб и насекомых. UniMate генерирует артикулированное 3D-движение по текстовому запросу и модели с ригом. Она работает со скелетами разной топологии без переобучения для каждого скелета и оптимизации во время инференса. Модель построена на flow matching и обучена на UniML3D — наборе данных из 13 769 пар текстовых описаний и клипов движений, охватывающем 7 430 скелетов: двуногих, четвероногих, птиц, морских животных, насекомых, змей и ригов жёстких объектов.
UniMate можно использовать бесплатно? Какая у него лицензия?
UniMate распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
UniMate всё ещё поддерживается?
Активно поддерживается. Последний коммит в UniMate — 8 окт. 2026 г..
Для чего можно использовать UniMate?
Анимация пользовательских 3D-персонажей и существ по текстовым запросам для игр или предварительной визуализации фильмов Генерация движений для нечеловекоподобных моделей, например четвероногих, птиц или рыб Исследования генерации движений по текстовым условиям для скелетов с разной топологией Заполнение промежутков между ключевыми кадрами или редактирование отдельных частей существующей анимации
Как установить UniMate?
Создайте окружение conda с Python 3.10: conda create -n unimate python=3.10 -y Активируйте окружение: conda activate unimate Зафиксируйте версию setuptools ниже 81: pip install "setuptools<81" Установите зависимости проекта: pip install -r requirements.txt --no-build-isolation
Где скачать UniMate?
Исходный код и инструкции по установке — на GitHub: https://github.com/Friedrich-M/UniMate

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Открытая система синтеза речи на основе flow matching и Diffusion Transformer с клонированием голоса по короткому аудиофрагменту без предварительного обучения на диктора.

15,4 тыс.2,3 тыс.PythonMITОбновлён 6 дней назад

ManimGL — оригинальный движок 3Blue1Brown для создания точных анимаций на основе кода, используемых в обучающих видео по математике.

95,3 тыс.7,8 тыс.PythonMITОбновлён в прошлом месяце