텍스트·이미지·음성 기반 영상 생성과 캐릭터 애니메이션을 지원하는 오픈소스 대규모 모델
- 스타
- 3,762
- 포크
- 497
- 열린 이슈
- 61
- 마지막 커밋
- 15일 전
어떤 프로젝트인가요?
Mochi 1은 Genmo가 리서치 프리뷰로 공개한 텍스트-투-비디오 생성 모델입니다. 프롬프트를 단일 T5-XXL 언어 모델로 인코딩하고, 오픈 AsymmVAE로 영상 압축을 수행하는 AsymmDiT라는 100억 파라미터 diffusion transformer를 사용합니다. 사실적인 움직임과 프롬프트 충실도를 목표로 하며, 초기 릴리스에서는 480p 영상을 생성합니다.
저장소에는 로컬 가중치로 클립을 생성하는 Gradio 웹 UI와 커맨드라인 스크립트가 포함되어 있으며, GPU 메모리 사용량을 줄이는 CPU offload 옵션도 제공합니다. Python API를 통해 파이프라인을 코드에서 사용할 수 있습니다. LoRA fine-tuning을 지원하며, 트레이너는 H100 또는 A100 80GB GPU 한 대에서 실행하도록 설계되었습니다. 단일 GPU 추론에는 VRAM이 약 60GB 필요하지만, ComfyUI 통합을 사용하면 메모리를 덜 사용해 실행할 수 있습니다.
가중치는 Hugging Face와 직접 다운로드를 통해 받을 수 있습니다. 프로젝트 설명에 따르면 사실적인 콘텐츠에 최적화되어 있어 애니메이션 스타일에서는 성능이 좋지 않으며, 상용 제품에 배포하려면 추가적인 안전 조치가 필요합니다.
핵심 기능
- 0110B 파라미터 diffusion 모델로 텍스트 프롬프트에서 480p 영상을 생성합니다.
- 02로컬에서 생성할 수 있는 Gradio 웹 UI와 CLI를 제공합니다.
- 03코드에서 파이프라인을 호출할 수 있는 Python API를 제공합니다.
- 04CPU offload와 고용량 GPU 한 대에서의 LoRA fine-tuning을 지원합니다.
- 05영상 latent를 압축하고 디코딩하는 오픈 AsymmVAE를 제공합니다.
활용 사례
- 오픈 텍스트-투-비디오 생성과 diffusion 아키텍처를 연구합니다.
- 로컬 GPU에서 프롬프트를 바탕으로 사실적인 짧은 클립을 생성합니다.
- 특정 시각 스타일이나 주제에 맞게 모델을 조정하는 LoRA를 fine-tuning합니다.
- Python API를 사용해 자체 애플리케이션에 영상 생성 기능을 구축합니다.
빠른 시작
- 1
저장소를 클론합니다
git clone https://github.com/genmoai/mochi - 2
프로젝트 디렉터리로 이동합니다
cd mochi - 3
uv를 설치하고 Python 3.11 가상 환경을 만듭니다
pip install uv && uv venv --python 3.11 .venv - 4
환경을 활성화하고 종속 항목을 동기화합니다
source .venv/bin/activate && uv sync --locked
사용 전 알아둘 점
- 단일 GPU에서 약 60GB VRAM이 필요하며, H100 1개 이상을 권장합니다.
- 초기 릴리스에서는 480p 동영상만 생성할 수 있습니다.
- 포토리얼리스틱 스타일에 최적화되어 있으며 애니메이션 콘텐츠에서는 성능이 떨어집니다.
- 모델 가중치를 별도로 다운로드하고 FFMPEG를 설치해야 합니다.
포함된 컬렉션
토픽
자주 묻는 질문
- mochi은(는) 무엇인가요?
- Mochi 1은 Genmo가 Apache 2.0 라이선스로 공개한 오픈 웨이트 10B 텍스트-투-비디오 diffusion 모델입니다. Mochi 1은 Genmo가 리서치 프리뷰로 공개한 텍스트-투-비디오 생성 모델입니다. 프롬프트를 단일 T5-XXL 언어 모델로 인코딩하고, 오픈 AsymmVAE로 영상 압축을 수행하는 AsymmDiT라는 100억 파라미터 diffusion transformer를 사용합니다. 사실적인 움직임과 프롬프트 충실도를 목표로 하며, 초기 릴리스에서는 480p 영상을 생성합니다.
- mochi은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- mochi은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- mochi은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. mochi의 마지막 커밋은 2026년 10월 22일입니다.
- mochi은(는) 어디에 사용할 수 있나요?
- 오픈 텍스트-투-비디오 생성과 diffusion 아키텍처를 연구합니다. 로컬 GPU에서 프롬프트를 바탕으로 사실적인 짧은 클립을 생성합니다. 특정 시각 스타일이나 주제에 맞게 모델을 조정하는 LoRA를 fine-tuning합니다. Python API를 사용해 자체 애플리케이션에 영상 생성 기능을 구축합니다.
- mochi는 어떻게 설치하나요?
- 저장소를 클론합니다: git clone https://github.com/genmoai/mochi 프로젝트 디렉터리로 이동합니다: cd mochi uv를 설치하고 Python 3.11 가상 환경을 만듭니다: pip install uv && uv venv --python 3.11 .venv 환경을 활성화하고 종속 항목을 동기화합니다: source .venv/bin/activate && uv sync --locked
- mochi은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/genmoai/mochi
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
Diffusion Transformer 모델로 다양한 해상도의 영상을 생성하고, 이미지에서 영상을 만들며, 기본 모델과 LoRA 모델의 학습도 지원하는 프레임워크입니다.
Tencent가 공개한 13B 파라미터 규모의 오픈소스 비디오 생성 기반 모델로, 텍스트 프롬프트를 동영상으로 만듭니다.
중국어와 영어 프롬프트를 모두 이해하는 Tencent의 오픈소스 이중 언어 텍스트-이미지 diffusion transformer입니다.
참조 이미지와 키보드·마우스 입력으로 조작 가능한 게임플레이 스타일 영상을 생성하는 오픈소스 모델입니다.
선형 확산 트랜스포머를 사용해 고해상도 이미지와 동영상을 효율적으로 생성하고, 학습 및 추론 파이프라인을 제공하는 오픈소스 코드베이스입니다.