텍스트 프롬프트를 입력하면 fal 비디오 모델, GVHMR 포즈 복원, Mixamo 리타게팅을 거쳐 해당 동작을 수행하는 리깅된 3D 캐릭터를 얻을 수 있습니다.
toyxyz/toyxyz_RGBMocap
AI 포즈 모델을 로컬에서 실행해 영상을 편집 가능한 인체 동작으로 변환하고 FBX 또는 VMD로 내보내는 Windows 네이티브 앱입니다.
대체할 수 있는 제품:Rokoko Vision
- 스타
- 866
- 포크
- 116
- 열린 이슈
- 5
- 마지막 커밋
- 어제
어떤 프로젝트인가요?
RGB MoCap은 일반 동영상에서 인체 동작을 재구성하는 Windows 데스크톱 앱입니다. NVIDIA GPU에서 여러 AI 모션 캡처 모델(ExMR, FlowHMR, GVHMR, MAMMA, PromptHMR)을 로컬로 실행하므로, 결과를 3D 미리보기에서 확인한 뒤 내보낼 수 있습니다.
재구성 후에는 접촉 시점을 편집해 발과 손바닥의 접촉을 보정하고 미끄러짐을 줄일 수 있습니다. 동작을 Mixamo FBX, VRM, PMX 휴머노이드 캐릭터에 리타게팅한 다음 FBX로 내보내거나, MMD 워크플로에서 사용할 VMD로 내보낼 수 있습니다. 프로젝트에서는 AI 모델별 결과를 각각 관리합니다.
설정은 스크립트(install.cmd, RGBMoCap.cmd)와 가중치를 다운로드하는 Model Manager를 통해 진행합니다. 일부 모델은 계정 등록과 라이선스 동의가 필요하며, 모든 모델을 설치하려면 디스크 공간이 수십 GB 필요합니다.
핵심 기능
- 01한 명 또는 여러 명의 인체 동작을 재구성하고 바디 메시와 본을 미리보기로 확인합니다.
- 02접촉 시점을 편집해 발과 손바닥의 접촉 미끄러짐을 보정합니다.
- 03동작을 Mixamo FBX, VRM, PMX 휴머노이드 캐릭터에 리타게팅합니다.
- 04애니메이션을 FBX로 내보내거나, PMX 캐릭터 동작을 MMD용 VMD로 내보냅니다.
- 05MAMMA 모델을 통한 멀티 카메라 캡처를 지원합니다.
활용 사례
- 참고 영상을 Unity, Blender 또는 게임 캐릭터용 애니메이션으로 변환합니다.
- PMX 캐릭터와 VMD 내보내기를 사용해 영상에서 MMD 댄스 동작을 만듭니다.
- 전용 모션 캡처 스튜디오 없이 애니메이션 작업용 모션 캡처를 프로토타이핑합니다.
- 같은 클립에서 여러 포즈 추정 모델의 결과를 비교합니다.
빠른 시작
- 1
Git for Windows를 설치하고 저장소를 clone합니다
git clone https://github.com/toyxyz/toyxyz_RGBMocap.git - 2
프로젝트 폴더로 이동합니다
cd toyxyz_RGBMocap - 3
런타임과 종속성을 준비합니다
install.cmd - 4
앱을 시작하고 콘솔을 열어 둡니다
RGBMoCap.cmd
사용 전 알아둘 점
- Windows 전용이며, 64비트 Windows와 OpenGL 4.3을 지원하는 NVIDIA GPU가 필요합니다.
- 설치된 모델과 런타임에는 약 63 GiB의 디스크 공간이 필요합니다.
- 일부 AI 모델 파일은 계정 등록 후 직접 다운로드해야 합니다.
- 선택 사항인 MAMMA 및 PromptHMR 런타임에는 Visual Studio C++ Build Tools와 CUDA Toolkit 12.8이 필요합니다.
포함된 컬렉션
토픽
자주 묻는 질문
- toyxyz_RGBMocap은(는) 무엇인가요?
- AI 포즈 모델을 로컬에서 실행해 영상을 편집 가능한 인체 동작으로 변환하고 FBX 또는 VMD로 내보내는 Windows 네이티브 앱입니다. RGB MoCap은 일반 동영상에서 인체 동작을 재구성하는 Windows 데스크톱 앱입니다. NVIDIA GPU에서 여러 AI 모션 캡처 모델(ExMR, FlowHMR, GVHMR, MAMMA, PromptHMR)을 로컬로 실행하므로, 결과를 3D 미리보기에서 확인한 뒤 내보낼 수 있습니다.
- toyxyz_RGBMocap은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- toyxyz_RGBMocap은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- toyxyz_RGBMocap은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. toyxyz_RGBMocap의 마지막 커밋은 2026년 11월 7일입니다.
- toyxyz_RGBMocap은(는) 어디에 사용할 수 있나요?
- 참고 영상을 Unity, Blender 또는 게임 캐릭터용 애니메이션으로 변환합니다. PMX 캐릭터와 VMD 내보내기를 사용해 영상에서 MMD 댄스 동작을 만듭니다. 전용 모션 캡처 스튜디오 없이 애니메이션 작업용 모션 캡처를 프로토타이핑합니다. 같은 클립에서 여러 포즈 추정 모델의 결과를 비교합니다.
- toyxyz_RGBMocap는 어떻게 설치하나요?
- Git for Windows를 설치하고 저장소를 clone합니다: git clone https://github.com/toyxyz/toyxyz_RGBMocap.git 프로젝트 폴더로 이동합니다: cd toyxyz_RGBMocap 런타임과 종속성을 준비합니다: install.cmd 앱을 시작하고 콘솔을 열어 둡니다: RGBMoCap.cmd
- toyxyz_RGBMocap은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/toyxyz/toyxyz_RGBMocap
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
영상이나 사진의 사람 동작을 Adobe Mixamo 리그 3D 캐릭터에 적용해 스킨이 포함된 .glb 파일로 내보냅니다.
여러 카메라로 영상을 촬영하고 사람의 움직임을 3D로 복원하는 무료 오픈소스 마커리스 모션 캡처 시스템입니다.
DirectCompute를 통해 Direct3D 11 GPU에서 추론을 실행하는 OpenAI Whisper 음성 인식의 Windows용 C++ 포트입니다.
three.js 스타일 API, OpenGL 및 Vulkan 백엔드, Python 바인딩, 물리·센서 시뮬레이션을 제공하는 크로스 플랫폼 C++20 3D 라이브러리입니다.
단안 비디오에서 물리적으로 타당한 3D 인체 동작을 복원하는 생성 모델 FlowHMR의 공식 구현입니다.