Браузерная студия превизуализации для расстановки объектов в сцене, позирования персонажей и монтажа движений камеры с последующей передачей кадров AI-моделям для генерации видео.
Friedrich-M/UniMate
Унифицированная модель преобразования текста в движение, которая создаёт анимацию для произвольных скелетов с ригом — от гуманоидов до четвероногих, птиц, рыб и насекомых.
- Звёзды
- 2,006
- Форки
- 217
- Открытые issues
- 6
- Последний коммит
- 12 дней назад
Что это?
UniMate генерирует артикулированное 3D-движение по текстовому запросу и модели с ригом. Она работает со скелетами разной топологии без переобучения для каждого скелета и оптимизации во время инференса. Модель построена на flow matching и обучена на UniML3D — наборе данных из 13 769 пар текстовых описаний и клипов движений, охватывающем 7 430 скелетов: двуногих, четвероногих, птиц, морских животных, насекомых, змей и ригов жёстких объектов.
В репозитории есть конвейер обработки данных для набора, код обучения на основе JSON-конфигов и Accelerate, а также скрипты инференса для анимации скелетов из набора данных или ваших моделей с ригом в форматах GLB, glTF и FBX. Инструмент rig_preprocess размечает суставы с помощью LLM и позволяет проверить разметку перед созданием модели. Готовые чекпоинты опубликованы на Hugging Face.
Та же модель поддерживает интерполяцию движения между ключевыми кадрами, редактирование по текстовому запросу с сохранением выбранных суставов и генерацией остальных, а также расширение движения — объединение нескольких запросов в один длинный клип.
Ключевые возможности
- 01Генерирует движения для произвольных скелетов по текстовому запросу без переобучения для каждого скелета
- 02Поддерживает риги гуманоидов, четвероногих, птиц, морских животных, насекомых и жёстких объектов
- 03Предоставляет код обучения и инференса, готовые чекпоинты и набор данных UniML3D
- 04Импортирует пользовательские модели с ригом в форматах GLB, glTF и FBX с помощью инструмента предварительной обработки и разметки суставов
- 05Поддерживает интерполяцию между ключевыми кадрами, редактирование и расширение движения без дополнительного обучения
Сценарии использования
- Анимация пользовательских 3D-персонажей и существ по текстовым запросам для игр или предварительной визуализации фильмов
- Генерация движений для нечеловекоподобных моделей, например четвероногих, птиц или рыб
- Исследования генерации движений по текстовым условиям для скелетов с разной топологией
- Заполнение промежутков между ключевыми кадрами или редактирование отдельных частей существующей анимации
Быстрый старт
- 1
Создайте окружение conda с Python 3.10
conda create -n unimate python=3.10 -y - 2
Активируйте окружение
conda activate unimate - 3
Зафиксируйте версию setuptools ниже 81
pip install "setuptools<81" - 4
Установите зависимости проекта
pip install -r requirements.txt --no-build-isolation
Что важно знать
- Для полного воспроизведения нужен Truebones ZOO motion pack — коммерческий ресурс, который необходимо приобрести и нельзя распространять.
- Обучение настроено на использование GPU с Accelerate, включая запуски на нескольких GPU, поэтому этот процесс не подходит для CPU.
- Опубликованы предварительные чекпойнты, которые будут заменены новыми, поэтому результаты могут измениться.
Темы
Частые вопросы
- Что такое UniMate?
- Унифицированная модель преобразования текста в движение, которая создаёт анимацию для произвольных скелетов с ригом — от гуманоидов до четвероногих, птиц, рыб и насекомых. UniMate генерирует артикулированное 3D-движение по текстовому запросу и модели с ригом. Она работает со скелетами разной топологии без переобучения для каждого скелета и оптимизации во время инференса. Модель построена на flow matching и обучена на UniML3D — наборе данных из 13 769 пар текстовых описаний и клипов движений, охватывающем 7 430 скелетов: двуногих, четвероногих, птиц, морских животных, насекомых, змей и ригов жёстких объектов.
- UniMate можно использовать бесплатно? Какая у него лицензия?
- UniMate распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- UniMate всё ещё поддерживается?
- Активно поддерживается. Последний коммит в UniMate — 8 окт. 2026 г..
- Для чего можно использовать UniMate?
- Анимация пользовательских 3D-персонажей и существ по текстовым запросам для игр или предварительной визуализации фильмов Генерация движений для нечеловекоподобных моделей, например четвероногих, птиц или рыб Исследования генерации движений по текстовым условиям для скелетов с разной топологией Заполнение промежутков между ключевыми кадрами или редактирование отдельных частей существующей анимации
- Как установить UniMate?
- Создайте окружение conda с Python 3.10: conda create -n unimate python=3.10 -y Активируйте окружение: conda activate unimate Зафиксируйте версию setuptools ниже 81: pip install "setuptools<81" Установите зависимости проекта: pip install -r requirements.txt --no-build-isolation
- Где скачать UniMate?
- Исходный код и инструкции по установке — на GitHub: https://github.com/Friedrich-M/UniMate
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Коллекция навыков для AI-ассистентов, помогающих с анимацией, дизайном интерфейсов и фронтенд-разработкой на основе опыта автора в Vercel и Linear.
Открытая система синтеза речи на основе flow matching и Diffusion Transformer с клонированием голоса по короткому аудиофрагменту без предварительного обучения на диктора.
Подборка навыков и плагинов для Claude Code, обучающих Claude работе с Three.js, GSAP, React Three Fiber и другими инструментами для веб-3D и анимации.
ManimGL — оригинальный движок 3Blue1Brown для создания точных анимаций на основе кода, используемых в обучающих видео по математике.
Open 3D Engine (O3DE) — кроссплатформенный движок для создания игр, кинематографичных 3D-миров и симуляций в реальном времени.