Repolode
toyxyz

toyxyz/toyxyz_RGBMocap

AI 포즈 모델을 로컬에서 실행해 영상을 편집 가능한 인체 동작으로 변환하고 FBX 또는 VMD로 내보내는 Windows 네이티브 앱입니다.

대체할 수 있는 제품:Rokoko Vision

스타
866
포크
116
열린 이슈
5
마지막 커밋
어제

어떤 프로젝트인가요?

RGB MoCap은 일반 동영상에서 인체 동작을 재구성하는 Windows 데스크톱 앱입니다. NVIDIA GPU에서 여러 AI 모션 캡처 모델(ExMR, FlowHMR, GVHMR, MAMMA, PromptHMR)을 로컬로 실행하므로, 결과를 3D 미리보기에서 확인한 뒤 내보낼 수 있습니다.

재구성 후에는 접촉 시점을 편집해 발과 손바닥의 접촉을 보정하고 미끄러짐을 줄일 수 있습니다. 동작을 Mixamo FBX, VRM, PMX 휴머노이드 캐릭터에 리타게팅한 다음 FBX로 내보내거나, MMD 워크플로에서 사용할 VMD로 내보낼 수 있습니다. 프로젝트에서는 AI 모델별 결과를 각각 관리합니다.

설정은 스크립트(install.cmd, RGBMoCap.cmd)와 가중치를 다운로드하는 Model Manager를 통해 진행합니다. 일부 모델은 계정 등록과 라이선스 동의가 필요하며, 모든 모델을 설치하려면 디스크 공간이 수십 GB 필요합니다.

핵심 기능

  • 01한 명 또는 여러 명의 인체 동작을 재구성하고 바디 메시와 본을 미리보기로 확인합니다.
  • 02접촉 시점을 편집해 발과 손바닥의 접촉 미끄러짐을 보정합니다.
  • 03동작을 Mixamo FBX, VRM, PMX 휴머노이드 캐릭터에 리타게팅합니다.
  • 04애니메이션을 FBX로 내보내거나, PMX 캐릭터 동작을 MMD용 VMD로 내보냅니다.
  • 05MAMMA 모델을 통한 멀티 카메라 캡처를 지원합니다.

활용 사례

  • 참고 영상을 Unity, Blender 또는 게임 캐릭터용 애니메이션으로 변환합니다.
  • PMX 캐릭터와 VMD 내보내기를 사용해 영상에서 MMD 댄스 동작을 만듭니다.
  • 전용 모션 캡처 스튜디오 없이 애니메이션 작업용 모션 캡처를 프로토타이핑합니다.
  • 같은 클립에서 여러 포즈 추정 모델의 결과를 비교합니다.

빠른 시작

  1. 1

    Git for Windows를 설치하고 저장소를 clone합니다

    git clone https://github.com/toyxyz/toyxyz_RGBMocap.git
  2. 2

    프로젝트 폴더로 이동합니다

    cd toyxyz_RGBMocap
  3. 3

    런타임과 종속성을 준비합니다

    install.cmd
  4. 4

    앱을 시작하고 콘솔을 열어 둡니다

    RGBMoCap.cmd

사용 전 알아둘 점

  • Windows 전용이며, 64비트 Windows와 OpenGL 4.3을 지원하는 NVIDIA GPU가 필요합니다.
  • 설치된 모델과 런타임에는 약 63 GiB의 디스크 공간이 필요합니다.
  • 일부 AI 모델 파일은 계정 등록 후 직접 다운로드해야 합니다.
  • 선택 사항인 MAMMA 및 PromptHMR 런타임에는 Visual Studio C++ Build Tools와 CUDA Toolkit 12.8이 필요합니다.

포함된 컬렉션

토픽

자주 묻는 질문

toyxyz_RGBMocap은(는) 무엇인가요?
AI 포즈 모델을 로컬에서 실행해 영상을 편집 가능한 인체 동작으로 변환하고 FBX 또는 VMD로 내보내는 Windows 네이티브 앱입니다. RGB MoCap은 일반 동영상에서 인체 동작을 재구성하는 Windows 데스크톱 앱입니다. NVIDIA GPU에서 여러 AI 모션 캡처 모델(ExMR, FlowHMR, GVHMR, MAMMA, PromptHMR)을 로컬로 실행하므로, 결과를 3D 미리보기에서 확인한 뒤 내보낼 수 있습니다.
toyxyz_RGBMocap은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
toyxyz_RGBMocap은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
toyxyz_RGBMocap은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. toyxyz_RGBMocap의 마지막 커밋은 2026년 11월 7일입니다.
toyxyz_RGBMocap은(는) 어디에 사용할 수 있나요?
참고 영상을 Unity, Blender 또는 게임 캐릭터용 애니메이션으로 변환합니다. PMX 캐릭터와 VMD 내보내기를 사용해 영상에서 MMD 댄스 동작을 만듭니다. 전용 모션 캡처 스튜디오 없이 애니메이션 작업용 모션 캡처를 프로토타이핑합니다. 같은 클립에서 여러 포즈 추정 모델의 결과를 비교합니다.
toyxyz_RGBMocap는 어떻게 설치하나요?
Git for Windows를 설치하고 저장소를 clone합니다: git clone https://github.com/toyxyz/toyxyz_RGBMocap.git 프로젝트 폴더로 이동합니다: cd toyxyz_RGBMocap 런타임과 종속성을 준비합니다: install.cmd 앱을 시작하고 콘솔을 열어 둡니다: RGBMoCap.cmd
toyxyz_RGBMocap은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/toyxyz/toyxyz_RGBMocap

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트