텍스트·이미지·음성 기반 영상 생성과 캐릭터 애니메이션을 지원하는 오픈소스 대규모 모델
Tencent-Hunyuan/Hunyuan-GameCraft-1.0
참조 이미지와 키보드·마우스 입력으로 조작 가능한 게임플레이 스타일 영상을 생성하는 오픈소스 모델입니다.
- 스타
- 760
- 포크
- 78
- 열린 이슈
- 19
- 마지막 커밋
- 11개월 전
어떤 프로젝트인가요?
Hunyuan-GameCraft는 Tencent Hunyuan에서 개발한 인터랙티브 게임 영상 생성 모델입니다. 참조 이미지와 텍스트 프롬프트, W, A, S, D 같은 키보드 또는 마우스 동작 시퀀스를 입력하면 해당 카메라 움직임을 따르는 영상을 생성합니다. 키보드와 마우스 입력은 하나의 카메라 표현 공간에 매핑되어 움직임을 부드럽게 보간할 수 있습니다.
이 프로젝트는 긴 영상을 확장하는 데 초점을 둡니다. 이전 프레임의 장면 정보를 유지하면서 시퀀스를 자기회귀적으로 확장하는 하이브리드 이력 조건부 학습 전략을 사용합니다. 50단계 대신 8단계로 추론하고 빠른 생성을 위해 FP8을 지원하는 증류 모델도 제공됩니다.
저장소에는 CUDA를 사용하는 Linux 환경에서 멀티 GPU 병렬 생성을 위한 추론 스크립트, CPU 오프로딩을 지원하는 저VRAM 단일 GPU 모드, 분산 추론 API를 기반으로 하는 Gradio 웹 인터페이스가 포함되어 있습니다. 모델 가중치는 Hugging Face에 공개되어 있습니다.
핵심 기능
- 01키보드와 마우스 동작을 하나의 카메라 공간에 매핑해 세밀하게 제어할 수 있습니다.
- 02하이브리드 이력 조건화를 사용해 영상을 자기회귀적으로 확장합니다.
- 03추론 단계가 8단계뿐인 증류 모델을 제공합니다.
- 04FP8 최적화와 SageAttention을 지원합니다.
- 05CPU 오프로딩을 지원하는 저VRAM 단일 GPU 모드를 제공합니다.
- 06분산 추론 API를 사용하는 Gradio 웹 인터페이스가 포함되어 있습니다.
활용 사례
- 게임을 위한 조작 가능한 액션 조건부 영상 생성 연구.
- 단일 콘셉트 이미지와 움직임 입력으로 게임 스타일 영상 클립 프로토타이핑.
- 멀티 GPU Linux 서버에서 장시간 영상 확장 실험.
빠른 시작
- 1
저장소를 클론합니다
git clone https://github.com/Tencent-Hunyuan/Hunyuan-GameCraft-1.0.git - 2
conda 환경을 만듭니다
conda create -n HYGameCraft python==3.10 - 3
PyTorch와 pip 종속성을 설치합니다
python -m pip install -r requirements.txt - 4
사전 학습된 모델 가중치를 다운로드합니다 (weights/README.md 참조)
- 5
Gradio 웹 인터페이스를 실행합니다
bash scripts/launch_app_sp.sh
사용 전 알아둘 점
- CUDA를 지원하는 NVIDIA GPU가 필요합니다. GPU 메모리는 최소 24GB이며 80GB를 권장합니다.
- Linux에서만 테스트되었습니다.
- VRAM이 적은 환경에서는 추론 속도가 매우 느립니다.
- 추론 시간은 액션 길이에 비례해 늘어납니다.
토픽
자주 묻는 질문
- Hunyuan-GameCraft-1.0은(는) 무엇인가요?
- 참조 이미지와 키보드·마우스 입력으로 조작 가능한 게임플레이 스타일 영상을 생성하는 오픈소스 모델입니다. Hunyuan-GameCraft는 Tencent Hunyuan에서 개발한 인터랙티브 게임 영상 생성 모델입니다. 참조 이미지와 텍스트 프롬프트, W, A, S, D 같은 키보드 또는 마우스 동작 시퀀스를 입력하면 해당 카메라 움직임을 따르는 영상을 생성합니다. 키보드와 마우스 입력은 하나의 카메라 표현 공간에 매핑되어 움직임을 부드럽게 보간할 수 있습니다.
- Hunyuan-GameCraft-1.0은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- Hunyuan-GameCraft-1.0은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- Hunyuan-GameCraft-1.0은(는) 아직 유지보수되고 있나요?
- 6개월 이상 커밋 없음. Hunyuan-GameCraft-1.0의 마지막 커밋은 2025년 11월 28일입니다.
- Hunyuan-GameCraft-1.0은(는) 어디에 사용할 수 있나요?
- 게임을 위한 조작 가능한 액션 조건부 영상 생성 연구. 단일 콘셉트 이미지와 움직임 입력으로 게임 스타일 영상 클립 프로토타이핑. 멀티 GPU Linux 서버에서 장시간 영상 확장 실험.
- Hunyuan-GameCraft-1.0는 어떻게 설치하나요?
- 저장소를 클론합니다: git clone https://github.com/Tencent-Hunyuan/Hunyuan-GameCraft-1.0.git conda 환경을 만듭니다: conda create -n HYGameCraft python==3.10 PyTorch와 pip 종속성을 설치합니다: python -m pip install -r requirements.txt 사전 학습된 모델 가중치를 다운로드합니다 (weights/README.md 참조) Gradio 웹 인터페이스를 실행합니다: bash scripts/launch_app_sp.sh
- Hunyuan-GameCraft-1.0은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/Tencent-Hunyuan/Hunyuan-GameCraft-1.0
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
스트리밍 신경 렌더링으로 로우폴리 프레임에서 플레이 가능한 게임 장면을 만드는 오픈소스 인터랙티브 월드 모델입니다.
14B diffusion model 기반의 실시간 오디오 구동 아바타 영상 생성 오픈소스 연구 프레임워크
Stable Diffusion과 최신 이미지·비디오 모델을 실행하는 Gradio 기반 웹 UI로, Forge 포크를 이어받아 모델 지원과 최적화를 추가합니다.
NVIDIA의 오픈소스 툴킷으로, 음성 인식(ASR), 음성 합성(TTS), 음성 LLM 모델을 구축하고 미세 조정해 배포할 수 있습니다.
저VRAM 추론과 학습을 지원하는 이미지·비디오·오디오 생성용 오픈소스 Diffusion 모델 엔진입니다.