Kit open source da NVIDIA para criar, ajustar e implantar modelos de IA de fala, incluindo reconhecimento de fala (ASR), síntese de fala (TTS) e LLMs de fala.
18,6 mil3,7 milPythonApache-2.0Atualizado ontem
microsoft/VibeVoice
Família open source de modelos de voz com IA da Microsoft, com reconhecimento de fala de longa duração (ASR), text-to-speech com vários falantes (TTS) e modelos de TTS em streaming em tempo real.
- Estrelas
- 54,889
- Forks
- 6,175
- Issues abertas
- 201
- Último commit
- há 13 dias
O que é?
VibeVoice é uma família open source de modelos de voz com IA da Microsoft que abrange tanto speech-to-text quanto text-to-speech. O modelo de ASR, VibeVoice-ASR, transcreve até 60 minutos de áudio em uma única passagem e informa quem falou, quando e o que foi dito, com suporte a hotwords personalizadas e reconhecimento em streaming.
Na geração de fala, o VibeVoice-TTS sintetiza áudio conversacional de até 90 minutos com até quatro falantes distintos, e o VibeVoice-Realtime-0.5B é um modelo leve que recebe texto em streaming para gerar fala com baixa latência. Os modelos usam tokenizadores contínuos de fala a 7,5 Hz, combinados com um modelo de linguagem e uma camada de difusão.
O repositório também inclui um fluxo de fine-tuning para o modelo de ASR, serving baseado em vLLM e uma variante de ASR BitNet voltada para CPU. Os pesos são publicados no Hugging Face, e o projeto informa que se destina a pesquisa e desenvolvimento.
Recursos principais
- 01Transcreve até 60 minutos de áudio em uma única passagem, com identificação dos falantes e marcações de tempo.
- 02Aceita hotwords personalizadas para melhorar o reconhecimento de termos específicos de um domínio.
- 03Oferece reconhecimento de fala em streaming, emitindo texto a cada trecho de áudio.
- 04Gera fala conversacional com vários falantes por até 90 minutos e com até quatro falantes.
- 05Oferece um modelo de TTS em tempo real de 0,5B que recebe texto em streaming.
- 06Inclui código para fine-tuning de ASR e suporte à inferência com vLLM.
Casos de uso
- Transcrever reuniões longas, entrevistas ou podcasts, identificando os falantes.
- Gerar áudio no estilo de podcasts com vários falantes a partir de roteiros.
- Desenvolver assistentes de voz de baixa latência que convertem texto em fala em streaming.
- Realizar experimentos de reconhecimento de fala com fine-tuning em dados personalizados.
Início rápido
- 1
Abra o notebook do Colab do modelo TTS de streaming em tempo real
- 2
Experimente o modelo ASR no Playground online
Antes de usar
- O README informa que os modelos se destinam apenas à pesquisa e ao desenvolvimento e não recomenda o uso comercial sem testes adicionais.
- O código do VibeVoice-TTS foi removido deste repositório após a descoberta de uso indevido.
- O README alerta que as saídas podem ser imprecisas ou tendenciosas e que os modelos podem ser usados indevidamente para criar deepfakes.
Tópicos
Perguntas frequentes
- O que é VibeVoice?
- Família open source de modelos de voz com IA da Microsoft, com reconhecimento de fala de longa duração (ASR), text-to-speech com vários falantes (TTS) e modelos de TTS em streaming em tempo real. VibeVoice é uma família open source de modelos de voz com IA da Microsoft que abrange tanto speech-to-text quanto text-to-speech. O modelo de ASR, VibeVoice-ASR, transcreve até 60 minutos de áudio em uma única passagem e informa quem falou, quando e o que foi dito, com suporte a hotwords personalizadas e reconhecimento em streaming.
- VibeVoice é gratuito? Qual é a licença?
- VibeVoice é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- VibeVoice ainda é mantido?
- Manutenção ativa. O último commit de VibeVoice foi em 8 de out. de 2026.
- Para que posso usar VibeVoice?
- Transcrever reuniões longas, entrevistas ou podcasts, identificando os falantes. Gerar áudio no estilo de podcasts com vários falantes a partir de roteiros. Desenvolver assistentes de voz de baixa latência que convertem texto em fala em streaming. Realizar experimentos de reconhecimento de fala com fine-tuning em dados personalizados.
- Como instalar VibeVoice?
- Abra o notebook do Colab do modelo TTS de streaming em tempo real Experimente o modelo ASR no Playground online
- Onde consigo VibeVoice?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/microsoft/VibeVoice
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Soprano é um modelo de conversão de texto em fala ultraleve, executado no dispositivo, com suporte a CUDA, CPU e MPS e saída em streaming.
1,6 mil138PythonApache-2.0Atualizado há 9 meses
Sistema de síntese de fala zero-shot que clona uma voz a partir de um único áudio de referência, com controle de emoção, velocidade e pronúncia.
24,6 mil2,9 milPythonOtherAtualizado há 22 dias
Biblioteca Python de inferência para o Kokoro-82M, um modelo de conversão de texto em fala com pesos abertos e 82 milhões de parâmetros.
9,5 mil1,1 milJavaScriptApache-2.0Atualizado ano passado
O VoxCPM2 é um modelo open source de texto para fala, sem tokenizer, que oferece suporte a 30 idiomas, criação de vozes a partir de descrições textuais e clonagem de voz com clipes de referência curtos.
39,6 mil4,5 milPythonApache-2.0Atualizado há 13 dias
Sistema open source de text-to-speech baseado em flow matching com Diffusion Transformer, que oferece clonagem de voz zero-shot a partir de um áudio curto de referência.
IA e Machine Learning#text-to-speech#speech-synthesis#flow-matching#diffusion-transformer#voice-cloning
15,4 mil2,3 milPythonMITAtualizado há 7 dias