텍스트·이미지·음성 기반 영상 생성과 캐릭터 애니메이션을 지원하는 오픈소스 대규모 모델
- 스타
- 2,311
- 포크
- 197
- 열린 이슈
- 132
- 마지막 커밋
- 그저께
어떤 프로젝트인가요?
VideoX-Fun은 Diffusion Transformer 모델로 AI 이미지와 영상을 생성하는 파이프라인입니다. 사전 학습된 기본 모델로 추론을 실행해 다양한 해상도, 길이, 프레임 레이트의 영상을 만들 수 있으며, 특정 스타일 변환을 위한 기본 모델과 LoRA 모델을 직접 학습할 수도 있습니다.
CogVideoX-Fun, Wan2.1, Wan2.2와 각 모델의 Fun 변형을 비롯한 여러 모델 계열을 지원하며, text-to-video, image-to-video, video-to-video, Canny·Pose·Depth 조건을 사용하는 제어 생성 등의 작업을 수행합니다. 추론은 Python 스크립트, Gradio 웹 UI 또는 ComfyUI 노드로 실행할 수 있으며, 일반 소비자용 GPU를 위한 CPU 오프로딩과 float8 양자화 등의 GPU 메모리 옵션도 제공합니다.
학습 스크립트에는 JSON으로 인덱싱된 이미지 및 영상 데이터셋의 전처리와 지원 모델별 기본 모델, LoRA, 제어 학습이 포함됩니다. 설정 가능한 Ulysses 및 ring 병렬 처리를 사용하는 xfuser를 통해 멀티 GPU 추론도 지원합니다.
핵심 기능
- 01사전 학습 모델을 사용해 다양한 해상도, 길이, 프레임 레이트의 영상을 생성합니다.
- 02text-to-video, image-to-video, video-to-video 및 제어 생성을 지원합니다.
- 03자체 이미지 및 영상 데이터셋으로 기본 모델과 LoRA 모델을 학습합니다.
- 04추론용 Python 스크립트, Gradio 웹 UI 및 ComfyUI 연동을 제공합니다.
- 05CPU 오프로딩, float8 양자화 등의 GPU 메모리 모드를 제공합니다.
- 06xfuser를 사용한 멀티 GPU 추론을 지원합니다.
활용 사례
- 정지 이미지나 텍스트 프롬프트로 짧은 AI 영상을 만듭니다.
- 생성 영상에 특정 시각적 스타일을 적용하는 LoRA를 학습합니다.
- 포즈 또는 깊이 맵을 가이드로 사용해 제어된 영상을 생성합니다.
- 스크립트로 매개변수를 설정해 대여 GPU나 로컬 GPU에서 영상을 일괄 생성합니다.
빠른 시작
- 1
공식 Docker 이미지를 pull합니다
docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun - 2
GPU를 사용할 수 있도록 설정해 이미지에서 컨테이너를 시작합니다
docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun - 3
컨테이너 안에서 VideoX-Fun 저장소를 clone합니다
git clone https://github.com/aigc-apps/VideoX-Fun.git
사용 전 알아둘 점
- 충분한 VRAM을 갖춘 NVIDIA GPU가 필요하며, README에는 테스트된 최소 사양으로 12GB 카드가 명시되어 있습니다.
- 모델 가중치를 위해 약 60GB의 여유 디스크 공간이 필요합니다.
- 멀티 GPU 추론에는 추가 설치(xfuser 및 yunchang)와 병렬 처리 수준을 신중하게 설정하는 작업이 필요합니다.
토픽
자주 묻는 질문
- VideoX-Fun은(는) 무엇인가요?
- Diffusion Transformer 모델로 다양한 해상도의 영상을 생성하고, 이미지에서 영상을 만들며, 기본 모델과 LoRA 모델의 학습도 지원하는 프레임워크입니다. VideoX-Fun은 Diffusion Transformer 모델로 AI 이미지와 영상을 생성하는 파이프라인입니다. 사전 학습된 기본 모델로 추론을 실행해 다양한 해상도, 길이, 프레임 레이트의 영상을 만들 수 있으며, 특정 스타일 변환을 위한 기본 모델과 LoRA 모델을 직접 학습할 수도 있습니다.
- VideoX-Fun은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- VideoX-Fun은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- VideoX-Fun은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. VideoX-Fun의 마지막 커밋은 2026년 10월 20일입니다.
- VideoX-Fun은(는) 어디에 사용할 수 있나요?
- 정지 이미지나 텍스트 프롬프트로 짧은 AI 영상을 만듭니다. 생성 영상에 특정 시각적 스타일을 적용하는 LoRA를 학습합니다. 포즈 또는 깊이 맵을 가이드로 사용해 제어된 영상을 생성합니다. 스크립트로 매개변수를 설정해 대여 GPU나 로컬 GPU에서 영상을 일괄 생성합니다.
- VideoX-Fun는 어떻게 설치하나요?
- 공식 Docker 이미지를 pull합니다: docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun GPU를 사용할 수 있도록 설정해 이미지에서 컨테이너를 시작합니다: docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun 컨테이너 안에서 VideoX-Fun 저장소를 clone합니다: git clone https://github.com/aigc-apps/VideoX-Fun.git
- VideoX-Fun은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/aigc-apps/VideoX-Fun
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
선형 확산 트랜스포머를 사용해 고해상도 이미지와 동영상을 효율적으로 생성하고, 학습 및 추론 파이프라인을 제공하는 오픈소스 코드베이스입니다.
텍스트-비디오 및 이미지-비디오 생성 모델을 다양한 품질·의미 차원에서 점수화하는 벤치마크 모음이자 평가 툴킷입니다.
AI 코딩 어시스턴트를 조사, 대본 작성, 에셋 생성, 편집, 렌더링을 수행하는 파이프라인 기반 영상 스튜디오로 바꾸는 오픈소스 에이전트형 영상 제작 시스템입니다.
저VRAM 추론과 학습을 지원하는 이미지·비디오·오디오 생성용 오픈소스 Diffusion 모델 엔진입니다.
웹 UI나 CLI를 통해 소비자용 GPU에서 이미지, 비디오, 오디오 diffusion 모델을 파인튜닝하는 올인원 학습 도구 모음입니다.