Repolode
Предложить
toyxyz

toyxyz/toyxyz_RGBMocap

Нативное приложение для Windows, которое преобразует видео в редактируемую анимацию человека, локально запускает модели оценки позы и экспортирует результат в FBX или VMD.

Open source альтернатива:Rokoko Vision

Открыть на GitHub
Звёзды
866
Форки
116
Открытые issues
5
Последний коммит
вчера

Что это?

RGB MoCap — настольное приложение для Windows, которое восстанавливает движения человека по обычному видео. Оно локально запускает несколько AI-моделей для захвата движений (ExMR, FlowHMR, GVHMR, MAMMA и PromptHMR) на видеокарте NVIDIA, чтобы вы могли просмотреть результат в 3D перед экспортом.

После восстановления движений приложение позволяет корректировать контакт стоп и ладоней, настраивая время контакта, чтобы уменьшить скольжение. Движения можно перенести на гуманоидных персонажей Mixamo FBX, VRM и PMX, а затем экспортировать в FBX или VMD для работы с MMD. Для каждого AI-модели в проекте сохраняются отдельные результаты.

Установка выполняется с помощью скриптов (install.cmd, RGBMoCap.cmd), а для загрузки весов предусмотрен Model Manager. Для некоторых моделей требуется зарегистрировать аккаунт и принять лицензионные условия; полный набор моделей занимает десятки гигабайт на диске.

Ключевые возможности

  • 01Восстанавливает движения одного или нескольких людей и показывает сетку тела и кости.
  • 02Корректирует скольжение при контакте стоп и ладоней; время контакта можно настраивать.
  • 03Переносит движения на гуманоидных персонажей Mixamo FBX, VRM и PMX.
  • 04Экспортирует анимацию в FBX, а движения персонажей PMX — в VMD для MMD.
  • 05Поддерживает захват с нескольких камер с помощью модели MAMMA.

Сценарии использования

  • Создание анимации для персонажа в Unity, Blender или игре по референсному видео.
  • Создание танцевальной анимации для MMD по видео с использованием персонажей PMX и экспорта в VMD.
  • Подготовка прототипов захвата движений для анимационных проектов без специальной mocap-студии.
  • Сравнение результатов нескольких моделей оценки позы на одном и том же видео.

Быстрый старт

  1. 1

    Установите Git for Windows и клонируйте репозиторий

    git clone https://github.com/toyxyz/toyxyz_RGBMocap.git
  2. 2

    Перейдите в папку проекта

    cd toyxyz_RGBMocap
  3. 3

    Подготовьте среды выполнения и зависимости

    install.cmd
  4. 4

    Запустите приложение и не закрывайте консоль

    RGBMoCap.cmd

Что важно знать

  • Только для Windows: требуется 64-разрядная Windows и совместимая видеокарта NVIDIA с поддержкой OpenGL 4.3.
  • Для установленных моделей и сред выполнения потребуется около 63 GiB места на диске.
  • Для загрузки некоторых файлов моделей ИИ потребуется зарегистрировать аккаунт и скачать их вручную.
  • Для дополнительных сред выполнения MAMMA и PromptHMR нужны Visual Studio C++ Build Tools и CUDA Toolkit 12.8.

В подборках

Приложения и утилиты для WindowsОбучение и запуск ИИ на GPU

Темы

#motion-capture#pose-estimation#3d-animation#windows#fbx#smpl-x#gpu

Частые вопросы

Что такое toyxyz_RGBMocap?
Нативное приложение для Windows, которое преобразует видео в редактируемую анимацию человека, локально запускает модели оценки позы и экспортирует результат в FBX или VMD. RGB MoCap — настольное приложение для Windows, которое восстанавливает движения человека по обычному видео. Оно локально запускает несколько AI-моделей для захвата движений (ExMR, FlowHMR, GVHMR, MAMMA и PromptHMR) на видеокарте NVIDIA, чтобы вы могли просмотреть результат в 3D перед экспортом.
toyxyz_RGBMocap можно использовать бесплатно? Какая у него лицензия?
toyxyz_RGBMocap распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
toyxyz_RGBMocap всё ещё поддерживается?
Активно поддерживается. Последний коммит в toyxyz_RGBMocap — 7 нояб. 2026 г..
Для чего можно использовать toyxyz_RGBMocap?
Создание анимации для персонажа в Unity, Blender или игре по референсному видео. Создание танцевальной анимации для MMD по видео с использованием персонажей PMX и экспорта в VMD. Подготовка прототипов захвата движений для анимационных проектов без специальной mocap-студии. Сравнение результатов нескольких моделей оценки позы на одном и том же видео.
Как установить toyxyz_RGBMocap?
Установите Git for Windows и клонируйте репозиторий: git clone https://github.com/toyxyz/toyxyz_RGBMocap.git Перейдите в папку проекта: cd toyxyz_RGBMocap Подготовьте среды выполнения и зависимости: install.cmd Запустите приложение и не закрывайте консоль: RGBMoCap.cmd
Где скачать toyxyz_RGBMocap?
Исходный код и инструкции по установке — на GitHub: https://github.com/toyxyz/toyxyz_RGBMocap

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты