Framework de Python para crear aplicaciones y agentes basados en LLM, con interfaces estándar para modelos, embeddings, almacenes vectoriales e integraciones de terceros.
148,1 mil24,9 milPythonMITActualizado hace 4 horas
- Estrellas
- 12,271
- Forks
- 1,409
- Issues abiertos
- 82
- Último commit
- hace 14 días
¿Qué es?
YuE2 genera canciones completas a partir de letras y una indicación de estilo. Primero produce una partitura simbólica con melodía y acordes en notación ABC, que se puede revisar y editar antes de generar el audio. El resultado es audio estéreo a 48 kHz, con voz y acompañamiento.
Además de crear canciones desde cero, el proyecto permite hacer covers zero-shot: el modelo SheetSage2 incluido transcribe una grabación de origen a una partitura de melodía, que luego se vuelve a generar con un estilo distinto o con letras nuevas. También se puede editar una partitura exportada y volver a generar la canción, o ejecutar estos pasos mediante una skill de agente incluida.
El proyecto ofrece un pipeline de Python con llamadas por etapas para la planificación, la generación semántica, la síntesis y la decodificación, y funciona en Linux con una GPU NVIDIA compatible con BF16 y unos 24 GB de VRAM. Los pesos del modelo se publican con una licencia no comercial, mientras que el código está bajo Apache 2.0.
Funciones clave
- 01Genera una partitura de melodía y acordes a partir de letras y un estilo antes de crear el audio.
- 02Permite editar la partitura ABC exportada y volver a generar la canción.
- 03Admite covers zero-shot a partir de grabaciones de origen transcritas.
- 04Genera audio estéreo a 48 kHz y guarda la partitura y los artefactos intermedios junto con él.
- 05Ofrece una API de Python por etapas y un script de ejemplo para la línea de comandos.
Casos de uso
- Crear prototipos de canciones a partir de letras y una descripción de estilo.
- Crear nuevos arreglos o versiones con otro estilo de una melodía existente.
- Generar pistas instrumentales proporcionando una partitura de melodía.
- Investigar la generación musical simbólica y de audio.
Inicio rápido
- 1
Clona el repositorio
git clone https://github.com/multimodal-art-projection/YuE.git - 2
Entra en el directorio y crea un entorno virtual de Python 3.12
cd YuE && python3.12 -m venv .venv && source .venv/bin/activate - 3
Instala el paquete
python -m pip install --upgrade pip && python -m pip install . - 4
Genera una primera canción (el modelo se descarga la primera vez que se usa)
python examples/generate.py --output outputs/first-song
Antes de usarlo
- Se necesita Linux, Python 3.12 y una GPU NVIDIA con 24 GB de VRAM compatible con BF16.
- Los archivos del modelo se descargan de Hugging Face la primera vez que se usa.
Temas
Preguntas frecuentes
- ¿Qué es YuE?
- YuE2 es un modelo abierto de generación musical que crea a partir de letras y una indicación de estilo un plan editable de melodía y acordes, y luego genera una canción completa con voz. YuE2 genera canciones completas a partir de letras y una indicación de estilo. Primero produce una partitura simbólica con melodía y acordes en notación ABC, que se puede revisar y editar antes de generar el audio. El resultado es audio estéreo a 48 kHz, con voz y acompañamiento.
- ¿YuE es gratuito? ¿Qué licencia tiene?
- YuE es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿YuE sigue mantenido?
- Mantenimiento activo. El último commit de YuE fue el 6 oct 2026.
- ¿Para qué puedo usar YuE?
- Crear prototipos de canciones a partir de letras y una descripción de estilo. Crear nuevos arreglos o versiones con otro estilo de una melodía existente. Generar pistas instrumentales proporcionando una partitura de melodía. Investigar la generación musical simbólica y de audio.
- ¿Cómo se instala YuE?
- Clona el repositorio: git clone https://github.com/multimodal-art-projection/YuE.git Entra en el directorio y crea un entorno virtual de Python 3.12: cd YuE && python3.12 -m venv .venv && source .venv/bin/activate Instala el paquete: python -m pip install --upgrade pip && python -m pip install . Genera una primera canción (el modelo se descarga la primera vez que se usa): python examples/generate.py --output outputs/first-song
- ¿Dónde consigo YuE?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/multimodal-art-projection/YuE
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Un entorno mínimo y fácil de modificar que cubre todo el flujo de trabajo de los LLM, desde la tokenización y el preentrenamiento hasta el ajuste fino, la evaluación y el chat, en un único nodo con GPU.
58,8 mil8,2 milPythonMITActualizado el mes pasado
Toolkit de código abierto para optimizar e implementar modelos de deep learning para inferencia en CPU, GPU y NPU de Intel.
11 mil3,5 milC++Apache-2.0Actualizado hace 3 horas
Aplicación de escritorio multiplataforma para etiquetar con ayuda de IA datos de texto, imágenes, video, nubes de puntos y datos multimodales, con modelos integrados y exportación a varios formatos.
IA y Machine Learning#image-annotation#computer-vision#deep-learning#object-detection#instance-segmentation
10,7 mil1,2 milPythonGPL-3.0Actualizado anteayer
Una biblioteca de Rust para crear aplicaciones con LLM y un agente de programación para terminal basado en ella, cuyas funciones son plugins de Bevy.
8,9 mil991RustMITActualizado hace 9 horas
SDK de Python para TimeGPT de Nixtla, un modelo fundacional preentrenado y alojado para pronosticar series temporales y detectar anomalías.
IA y Machine Learning#time-series#time-series-forecasting#anomaly-detection#foundation-models#python-sdk
4 mil341Jupyter NotebookOtherActualizado hace 5 días