Framework de investigación de código abierto para generar en tiempo real videos de avatares a partir de audio, con salida continua de duración ilimitada y un modelo de difusión de 14B.
2,5 mil+6 esta semana289PythonApache-2.0Actualizado hace 2 meses
- Estrellas
- 14,183
- Forks
- 2,701
- Issues abiertos
- 671
- Último commit
- hace 2 años
¿Qué es?
SadTalker anima una foto de retrato para que la persona hable sincronizada con un archivo de audio. El proyecto predice a partir del audio coeficientes de movimiento 3D que abarcan la pose de la cabeza y las expresiones faciales, y los usa para generar un video de un rostro que habla a partir de la imagen fija.
El repositorio ofrece una WebUI basada en Gradio que se ejecuta localmente, un script de línea de comandos (inference.py) para generar videos por lotes y una extensión para stable-diffusion-webui. Admite un modo de imagen fija de cuerpo completo, un video de referencia para el movimiento y un mejorador GFPGAN opcional para mejorar la calidad del rostro en el resultado. Los checkpoints preentrenados se distribuyen mediante Google Drive, GitHub Releases y Baidu Cloud, y el README describe los pasos de instalación para Linux, Windows y macOS.
Funciones clave
- 01Genera videos de rostros que hablan a partir de un retrato y un archivo de audio.
- 02Predice la pose de la cabeza y las expresiones a partir del audio mediante coeficientes de movimiento 3D.
- 03Ofrece una WebUI local basada en Gradio y una CLI para generar videos.
- 04Incluye una extensión para stable-diffusion-webui.
- 05Admite el modo de imagen fija de cuerpo completo y un mejorador facial GFPGAN opcional.
Casos de uso
- Crear videos de personas hablando a partir de una sola foto para contenido o demostraciones.
- Experimentar con animación facial controlada por audio en investigación.
- Añadir avatares que hablan con sincronización labial a un flujo de trabajo de stable-diffusion-webui.
Inicio rápido
- 1
Clona el repositorio
git clone https://github.com/OpenTalker/SadTalker.git - 2
Crea y activa un entorno conda con Python 3.8
conda create -n sadtalker python=3.8 - 3
Instala los requisitos
pip install -r requirements.txt - 4
Descarga los modelos preentrenados (ejecuta el comando desde la raíz del repositorio)
bash scripts/download_models.sh
Antes de usarlo
- Antes del primer uso, necesitas configurar PyTorch para GPU con CUDA y descargar el modelo manualmente.
- En los metadatos, la licencia aparece como NOASSERTION; comprueba la licencia del repositorio antes de usarlo con fines comerciales.
- El README indica que hay que instalar Coqui TTS por separado para la demo de Gradio, y que la configuración en Windows y macOS requiere pasos adicionales.
En colecciones
Temas
#talking-face#image-animation#audio-driven#computer-vision#gradio#deep-learning#video-generation#audio-driven-talking-face#cvpr2023#deep-fake
Preguntas frecuentes
- ¿Qué es SadTalker?
- Genera un video de una persona hablando a partir de un retrato y un clip de audio, mediante coeficientes de movimiento 3D (CVPR 2023). SadTalker anima una foto de retrato para que la persona hable sincronizada con un archivo de audio. El proyecto predice a partir del audio coeficientes de movimiento 3D que abarcan la pose de la cabeza y las expresiones faciales, y los usa para generar un video de un rostro que habla a partir de la imagen fija.
- ¿SadTalker es gratuito? ¿Qué licencia tiene?
- SadTalker es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿SadTalker sigue mantenido?
- Sin commits en más de 6 meses. El último commit de SadTalker fue el 26 jun 2024.
- ¿Para qué puedo usar SadTalker?
- Crear videos de personas hablando a partir de una sola foto para contenido o demostraciones. Experimentar con animación facial controlada por audio en investigación. Añadir avatares que hablan con sincronización labial a un flujo de trabajo de stable-diffusion-webui.
- ¿Cómo se instala SadTalker?
- Clona el repositorio: git clone https://github.com/OpenTalker/SadTalker.git Crea y activa un entorno conda con Python 3.8: conda create -n sadtalker python=3.8 Instala los requisitos: pip install -r requirements.txt Descarga los modelos preentrenados (ejecuta el comando desde la raíz del repositorio): bash scripts/download_models.sh
- ¿Dónde consigo SadTalker?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/OpenTalker/SadTalker
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Herramienta de código abierto basada en Stable Diffusion para generar cómics con personajes coherentes y secuencias de imagen a video de largo alcance.
IA y Machine Learning#stable-diffusion#image-generation#comic-generation#text-to-image#video-generation
6,5 mil+3 esta semana651Jupyter NotebookApache-2.0Actualizado hace 2 años
Interfaz web basada en Gradio para ejecutar Stable Diffusion y modelos recientes de imagen y video, que continúa el fork Forge con más compatibilidad y optimizaciones.
1,9 mil+23 esta semana265PythonAGPL-3.0Actualizado ayer
Convierte una imagen de un objeto en un modelo 3D Gaussian splat y genera las partes no visibles, como SDK de inferencia y demo.
863+681 esta semana83PythonApache-2.0Actualizado hace 8 días
Espacio de trabajo de IA de código abierto para creadores que reúne traducción y descarga de videos, generación de imágenes y videos, voces en off y escritura, basado en Codex CLI.
14,2 mil+149 esta semana1,6 milTypeScriptApache-2.0Actualizado ayer
Aplicación de escritorio para crear humanos digitales con IA, con síntesis de video con sincronización labial, texto a voz, clonación de voz y gestión local de modelos de IA.
5,8 mil+31 esta semana849VueApache-2.0Bien mantenidoActualizado ayer