Um framework Python para criar aplicações e agentes com LLMs, com interfaces padronizadas para modelos, embeddings, vector stores e integrações de terceiros.
148,1 mil24,9 milPythonMITAtualizado há 4 horas
- Estrelas
- 12,271
- Forks
- 1,409
- Issues abertas
- 82
- Último commit
- há 14 dias
O que é?
YuE2 gera músicas completas a partir de letras e de uma descrição de estilo. Primeiro, produz uma partitura simbólica com melodia e acordes em notação ABC, que pode ser inspecionada e editada antes da renderização do áudio. O resultado é áudio estéreo de 48 kHz, com vocais e acompanhamento.
Além de criar músicas do zero, o projeto oferece suporte a covers zero-shot: uma gravação de origem é transcrita para uma partitura de melodia com o modelo SheetSage2 incluído e, em seguida, renderizada novamente em um novo estilo ou com novas letras. Também é possível editar uma partitura exportada e gerar a música de novo, ou executar essas etapas por meio de uma skill de agente incluída.
O projeto oferece um pipeline Python com chamadas em etapas para planejamento, geração semântica, síntese e decodificação, e funciona no Linux com uma GPU NVIDIA compatível com BF16 e cerca de 24 GB de VRAM. Os pesos do modelo são disponibilizados sob uma licença não comercial, enquanto o código usa a licença Apache 2.0.
Recursos principais
- 01Gera uma partitura de melodia e acordes a partir de letras e estilo antes de renderizar o áudio.
- 02Permite editar a partitura ABC exportada e gerar a música novamente.
- 03Oferece suporte a covers zero-shot a partir de gravações de origem transcritas.
- 04Gera áudio estéreo de 48 kHz e salva a partitura e os artefatos intermediários junto com ele.
- 05Oferece uma API Python com etapas separadas e um script de exemplo para linha de comando.
Casos de uso
- Criar protótipos de músicas a partir de letras e de uma descrição de estilo.
- Criar novos arranjos ou versões em outros estilos de uma melodia existente.
- Gerar faixas instrumentais fornecendo uma partitura de melodia.
- Pesquisar geração musical que combina representações simbólicas e áudio.
Início rápido
- 1
Clone o repositório
git clone https://github.com/multimodal-art-projection/YuE.git - 2
Entre no diretório e crie um ambiente virtual com Python 3.12
cd YuE && python3.12 -m venv .venv && source .venv/bin/activate - 3
Instale o pacote
python -m pip install --upgrade pip && python -m pip install . - 4
Gere uma primeira música (o modelo é baixado no primeiro uso)
python examples/generate.py --output outputs/first-song
Antes de usar
- É necessário usar Linux, Python 3.12 e uma GPU NVIDIA com suporte a BF16 e 24 GB de VRAM.
- Os arquivos do modelo são baixados do Hugging Face no primeiro uso.
Tópicos
Perguntas frequentes
- O que é YuE?
- YuE2 é um modelo aberto de geração musical que cria um plano editável de melodia e acordes a partir de letras e de uma descrição de estilo, e depois produz uma música completa com vocais. YuE2 gera músicas completas a partir de letras e de uma descrição de estilo. Primeiro, produz uma partitura simbólica com melodia e acordes em notação ABC, que pode ser inspecionada e editada antes da renderização do áudio. O resultado é áudio estéreo de 48 kHz, com vocais e acompanhamento.
- YuE é gratuito? Qual é a licença?
- YuE é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- YuE ainda é mantido?
- Manutenção ativa. O último commit de YuE foi em 6 de out. de 2026.
- Para que posso usar YuE?
- Criar protótipos de músicas a partir de letras e de uma descrição de estilo. Criar novos arranjos ou versões em outros estilos de uma melodia existente. Gerar faixas instrumentais fornecendo uma partitura de melodia. Pesquisar geração musical que combina representações simbólicas e áudio.
- Como instalar YuE?
- Clone o repositório: git clone https://github.com/multimodal-art-projection/YuE.git Entre no diretório e crie um ambiente virtual com Python 3.12: cd YuE && python3.12 -m venv .venv && source .venv/bin/activate Instale o pacote: python -m pip install --upgrade pip && python -m pip install . Gere uma primeira música (o modelo é baixado no primeiro uso): python examples/generate.py --output outputs/first-song
- Onde consigo YuE?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/multimodal-art-projection/YuE
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Um harness mínimo e fácil de modificar que cobre todo o pipeline de LLM, da tokenização ao pré-treinamento, ajuste fino, avaliação e chat, executável em um único nó com GPU.
58,8 mil8,2 milPythonMITAtualizado mês passado
Toolkit de código aberto para otimizar e implantar modelos de deep learning para inferência em CPUs, GPUs e NPUs Intel.
11 mil3,5 milC++Apache-2.0Atualizado há 3 horas
Aplicativo desktop multiplataforma para anotação assistida por IA de dados de texto, imagem, vídeo, nuvem de pontos e multimodais, com modelos integrados e exportação em vários formatos.
IA e Machine Learning#image-annotation#computer-vision#deep-learning#object-detection#instance-segmentation
10,7 mil1,2 milPythonGPL-3.0Atualizado anteontem
Uma biblioteca Rust para criar aplicações com LLMs, além de um agente de programação para terminal, baseado nela e cujos recursos são plugins do Bevy.
8,9 mil991RustMITAtualizado há 9 horas
SDK cliente em Python para o TimeGPT da Nixtla, um modelo de base pré-treinado e hospedado para previsão de séries temporais e detecção de anomalias.
IA e Machine Learning#time-series#time-series-forecasting#anomaly-detection#foundation-models#python-sdk
4 mil341Jupyter NotebookOtherAtualizado há 5 dias