OpenTalker/SadTalker

어떤 프로젝트인가요?

핵심 기능

• 01인물 사진 한 장과 오디오 파일로 말하는 얼굴 영상을 생성합니다.
• 023D 모션 계수를 통해 오디오에서 머리 자세와 표정을 예측합니다.
• 03로컬 Gradio WebUI와 CLI로 영상을 생성할 수 있습니다.
• 04stable-diffusion-webui 확장 기능을 제공합니다.
• 05전신 정지 이미지 모드와 선택형 GFPGAN 얼굴 향상 기능을 지원합니다.

활용 사례

• 콘텐츠나 데모용으로 사진 한 장에서 말하는 인물 영상을 제작합니다.
• 연구 목적으로 오디오 기반 얼굴 애니메이션을 실험합니다.
• stable-diffusion-webui 워크플로에 입 모양이 동기화된 아바타 음성을 추가합니다.

빠른 시작

1. 1

   저장소를 클론합니다

   git clone https://github.com/OpenTalker/SadTalker.git
2. 2

   Python 3.8 conda 환경을 만들고 활성화합니다

   conda create -n sadtalker python=3.8
3. 3

   requirements를 설치합니다

   pip install -r requirements.txt
4. 4

   사전 학습된 모델을 다운로드합니다(저장소 루트에서 실행)

   bash scripts/download_models.sh

사용 전 알아둘 점

• !처음 사용하기 전에 CUDA가 포함된 GPU용 PyTorch 환경을 설정하고 모델을 수동으로 다운로드해야 합니다.
• !메타데이터에 라이선스가 NOASSERTION으로 표시되어 있으므로 상업적으로 사용하기 전에 저장소의 라이선스를 확인하세요.
• !README에 따르면 Gradio 데모를 사용하려면 Coqui TTS를 별도로 설치해야 하며, Windows와 macOS에서는 추가 설정 단계가 필요합니다.

포함된 컬렉션

토픽

자주 묻는 질문

SadTalker은(는) 무엇인가요?

단일 인물 사진과 오디오 클립으로 3D 모션 계수에 기반한 말하는 얼굴 영상을 생성합니다(CVPR 2023). SadTalker는 제공된 오디오 파일과 입 모양을 맞춰 단일 인물 사진에 말하는 듯한 움직임을 적용합니다. 오디오에서 머리 자세와 표정을 포함한 3D 모션 계수를 예측하고, 이를 사용해 정지 이미지로 말하는 얼굴 영상을 렌더링합니다.

SadTalker은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

SadTalker은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

SadTalker은(는) 아직 유지보수되고 있나요?

6개월 이상 커밋 없음. SadTalker의 마지막 커밋은 2024년 6월 26일입니다.

SadTalker은(는) 어디에 사용할 수 있나요?

콘텐츠나 데모용으로 사진 한 장에서 말하는 인물 영상을 제작합니다. 연구 목적으로 오디오 기반 얼굴 애니메이션을 실험합니다. stable-diffusion-webui 워크플로에 입 모양이 동기화된 아바타 음성을 추가합니다.

SadTalker는 어떻게 설치하나요?

저장소를 클론합니다: git clone https://github.com/OpenTalker/SadTalker.git Python 3.8 conda 환경을 만들고 활성화합니다: conda create -n sadtalker python=3.8 requirements를 설치합니다: pip install -r requirements.txt 사전 학습된 모델을 다운로드합니다(저장소 루트에서 실행): bash scripts/download_models.sh

SadTalker은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/OpenTalker/SadTalker