HVision-NKU/StoryDiffusion

어떤 프로젝트인가요?

핵심 기능

• 01일관성 self-attention으로 생성된 이미지 시퀀스 전체에서 캐릭터의 일관성을 유지합니다.
• 02SD1.5 및 SDXL 기반 이미지 diffusion 모델에 바로 적용할 수 있습니다.
• 03motion predictor가 조건 이미지 사이의 전환을 생성해 비디오를 만듭니다.
• 04만화 생성용 Jupyter notebook 및 로컬 Gradio 데모를 제공합니다.
• 05저 VRAM용 Gradio 버전을 사용할 수 있습니다.

활용 사례

• 스토리 전반에 걸쳐 같은 캐릭터가 등장하는 만화 컷을 제작합니다.
• 등장 대상의 일관성을 유지하는 스토리보드 스타일 이미지 시퀀스를 만듭니다.
• motion predictor를 사용해 키프레임 이미지 모음을 짧은 비디오로 확장합니다.

빠른 시작

1. 1

   conda 환경을 만들고 활성화합니다

   conda create --name storydiffusion python=3.10 && conda activate storydiffusion
2. 2

   requirements를 설치합니다

   pip install -r requirements.txt
3. 3

   저VRAM 로컬 Gradio 데모를 시작합니다

   python gradio_app_sdxl_specific_id_low_vram.py

사용 전 알아둘 점

• !동영상 생성 모델의 소스 코드와 사전 학습 가중치는 아직 공개되지 않았습니다.
• !README 테스트에는 24GB GPU가 명시되어 있으므로 로컬에서 실행하려면 성능이 좋은 GPU가 필요합니다.
• !리포지토리는 2024년 9월에 마지막으로 푸시되었으며 최근 활동이 없습니다.

토픽

자주 묻는 질문

StoryDiffusion은(는) 무엇인가요?

캐릭터 일관성을 유지하는 만화 이미지와 장거리 이미지-비디오 시퀀스 생성 도구 StoryDiffusion은 스토리 전반에 걸쳐 같은 캐릭터가 등장하는 이미지 시퀀스를 생성합니다. 핵심은 SD1.5 및 SDXL 기반 이미지 diffusion 모델에 적용할 수 있는 일관성 self-attention 모듈로, 여러 프롬프트에 걸쳐 같은 캐릭터가 일관되게 나타나도록 합니다. 현재 구현에서는 텍스트 프롬프트를 최소 3개 입력해야 하며, 더 나은 레이아웃을 위해 5~6개를 권장합니다.

StoryDiffusion은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

StoryDiffusion은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

StoryDiffusion은(는) 아직 유지보수되고 있나요?

6개월 이상 커밋 없음. StoryDiffusion의 마지막 커밋은 2024년 9월 26일입니다.

StoryDiffusion은(는) 어디에 사용할 수 있나요?

스토리 전반에 걸쳐 같은 캐릭터가 등장하는 만화 컷을 제작합니다. 등장 대상의 일관성을 유지하는 스토리보드 스타일 이미지 시퀀스를 만듭니다. motion predictor를 사용해 키프레임 이미지 모음을 짧은 비디오로 확장합니다.

StoryDiffusion는 어떻게 설치하나요?

conda 환경을 만들고 활성화합니다: conda create --name storydiffusion python=3.10 && conda activate storydiffusion requirements를 설치합니다: pip install -r requirements.txt 저VRAM 로컬 Gradio 데모를 시작합니다: python gradio_app_sdxl_specific_id_low_vram.py

StoryDiffusion은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/HVision-NKU/StoryDiffusion