Escribe un prompt de texto y obtén un personaje 3D con rig que realiza ese movimiento, usando modelos de video de fal, recuperación de pose con GVHMR y retargeting a Mixamo.
529+33 esta semana79JavaScriptApache-2.0Actualizado hace 17 días
toyxyz/toyxyz_RGBMocap
Aplicación nativa para Windows que convierte videos en movimiento humano editable, ejecuta modelos de pose con IA localmente y exporta a FBX o VMD.
Alternativa open source a:Rokoko Vision
- Estrellas
- 747
- Forks
- 103
- Issues abiertos
- 5
- Último commit
- hace 21 horas
¿Qué es?
RGB MoCap es una aplicación de escritorio para Windows que reconstruye movimiento humano a partir de videos comunes. Ejecuta localmente varios modelos de captura de movimiento con IA (ExMR, FlowHMR, GVHMR, MAMMA y PromptHMR) en una GPU NVIDIA, para que puedas revisar el resultado en una vista previa 3D antes de exportarlo.
Después de la reconstrucción, la aplicación permite corregir el contacto de los pies y las palmas, con tiempos de contacto editables para reducir el deslizamiento. El movimiento se puede adaptar a personajes humanoides de Mixamo FBX, VRM y PMX, y luego exportar como FBX o como VMD para flujos de trabajo de MMD. Los proyectos guardan resultados independientes para cada modelo de IA.
La configuración se realiza mediante scripts (install.cmd, RGBMoCap.cmd) y un Model Manager para descargar los pesos de los modelos. Algunos modelos requieren registrarse y aceptar una licencia, y el conjunto completo ocupa decenas de gigabytes en disco.
Funciones clave
- 01Reconstruye a una o varias personas y muestra una vista previa de la malla corporal y los huesos.
- 02Corrige el deslizamiento en el contacto de los pies y las palmas mediante tiempos de contacto editables.
- 03Adapta el movimiento a personajes humanoides de Mixamo FBX, VRM y PMX.
- 04Exporta animaciones como FBX o el movimiento de personajes PMX como VMD para MMD.
- 05Admite capturas con varias cámaras mediante el modelo MAMMA.
Casos de uso
- Convertir videos de referencia en animaciones para personajes de Unity, Blender o videojuegos.
- Crear movimientos de baile para MMD a partir de un video, usando personajes PMX y exportación VMD.
- Probar la captura de movimiento para trabajos de animación sin un estudio especializado en mocap.
- Comparar los resultados de varios modelos de estimación de pose en el mismo clip.
Inicio rápido
- 1
Instala Git for Windows y clona el repositorio
git clone https://github.com/toyxyz/toyxyz_RGBMocap.git - 2
Entra en la carpeta del proyecto
cd toyxyz_RGBMocap - 3
Prepara los runtimes y las dependencias
install.cmd - 4
Inicia la aplicación y deja la consola abierta
RGBMoCap.cmd
Antes de usarlo
- Solo para Windows: requiere Windows de 64 bits y una GPU NVIDIA compatible con OpenGL 4.3.
- Los modelos y runtimes instalados necesitan unos 63 GiB de espacio en disco.
- Algunos archivos de modelos de IA requieren registrarse en una cuenta y descargarlos manualmente.
- Los runtimes opcionales MAMMA y PromptHMR requieren Visual Studio C++ Build Tools y CUDA Toolkit 12.8.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es toyxyz_RGBMocap?
- Aplicación nativa para Windows que convierte videos en movimiento humano editable, ejecuta modelos de pose con IA localmente y exporta a FBX o VMD. RGB MoCap es una aplicación de escritorio para Windows que reconstruye movimiento humano a partir de videos comunes. Ejecuta localmente varios modelos de captura de movimiento con IA (ExMR, FlowHMR, GVHMR, MAMMA y PromptHMR) en una GPU NVIDIA, para que puedas revisar el resultado en una vista previa 3D antes de exportarlo.
- ¿toyxyz_RGBMocap es gratuito? ¿Qué licencia tiene?
- toyxyz_RGBMocap es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿toyxyz_RGBMocap sigue mantenido?
- Mantenimiento activo. El último commit de toyxyz_RGBMocap fue el 6 nov 2026.
- ¿Para qué puedo usar toyxyz_RGBMocap?
- Convertir videos de referencia en animaciones para personajes de Unity, Blender o videojuegos. Crear movimientos de baile para MMD a partir de un video, usando personajes PMX y exportación VMD. Probar la captura de movimiento para trabajos de animación sin un estudio especializado en mocap. Comparar los resultados de varios modelos de estimación de pose en el mismo clip.
- ¿Cómo se instala toyxyz_RGBMocap?
- Instala Git for Windows y clona el repositorio: git clone https://github.com/toyxyz/toyxyz_RGBMocap.git Entra en la carpeta del proyecto: cd toyxyz_RGBMocap Prepara los runtimes y las dependencias: install.cmd Inicia la aplicación y deja la consola abierta: RGBMoCap.cmd
- ¿Dónde consigo toyxyz_RGBMocap?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/toyxyz/toyxyz_RGBMocap
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Transfiere movimiento humano de un video o una foto fija a un personaje 3D con rig de Adobe Mixamo y exporta un archivo .glb con skin.
1,9 mil+107 esta semana244PythonApache-2.0Actualizado hace 14 días
Sistema gratuito y de código abierto de captura de movimiento sin marcadores que graba video con varias cámaras y reconstruye el movimiento humano en 3D.
10,7 mil+101 esta semana1 milTypeScriptAGPL-3.0Actualizado hace 23 horas
Port de Whisper de OpenAI a C++ para Windows, que ejecuta el reconocimiento de voz en cualquier GPU Direct3D 11 mediante DirectCompute.
10,7 mil+7 esta semana981C++MPL-2.0Actualizado hace 2 meses
Biblioteca 3D multiplataforma en C++20 con una API al estilo de three.js, backends de OpenGL y Vulkan, bindings de Python y simulación de física y sensores.
1,2 mil+32 esta semana156C++MITBien mantenidoActualizado ayer
Implementación oficial de FlowHMR, un modelo generativo que reconstruye movimiento humano 3D físicamente plausible a partir de video monocular.
IA y Machine Learning#motion-capture#computer-vision#human-pose-estimation#flow-matching#reinforcement-learning
289+20 esta semana20PythonApache-2.0Actualizado hace 5 días