Reconhecimento de fala open source baseado no Whisper, com timestamps por palavra via alinhamento forçado e diarização de falantes opcional.
- Estrelas
- 11,155
- Forks
- 1,149
- Issues abertas
- 17
- Último commit
- há 19 dias
O que é?
WhisperLiveKit (WLK) é um pipeline de speech-to-text auto-hospedado, desenvolvido para transcrição com baixa latência. Em vez de executar o Whisper em blocos de áudio fixos, ele usa estratégias de streaming como AlignAtt SimulStreaming e LocalAgreement, com detecção de atividade de voz, para gerar texto parcial e estável enquanto a pessoa ainda está falando.
O pacote oferece uma CLI com uma interface web servida via WebSocket em /asr, além de um endpoint REST compatível com OpenAI para transcrição de arquivos e um WebSocket compatível com Deepgram. Também pode transcrever arquivos diretamente, gerar legendas SRT e gerenciar modelos. Os backends incluem Faster-Whisper, MLX Whisper para Apple Silicon, Voxtral, Qwen3-ASR, NVIDIA Canary e FunASR SenseVoiceSmall. Componentes opcionais adicionam diarização de falantes (Sortformer ou Diart) e tradução via NLLB ou tradução baseada em LLM.
O servidor gerencia várias conexões simultâneas, e o projeto oferece suporte a HTTPS, tokens de API, configurações de CORS e implantação atrás de Nginx ou Gunicorn. Há imagens Docker para configurações com GPU e CPU.
Recursos principais
- 01Transcrição em streaming com saída de texto parcial e estável via WebSocket.
- 02Diarização de falantes usando Sortformer ou Diart.
- 03Tradução simultânea por meio do NLLB ou de backends baseados em LLM.
- 04Endpoint de transcrição compatível com OpenAI e WebSocket compatível com Deepgram.
- 05Ferramentas de linha de comando para servir áudio ao vivo, transcrever arquivos, gerar legendas SRT e gerenciar modelos.
- 06Vários backends de ASR, incluindo opções para Apple Silicon com MLX e para GPUs NVIDIA.
Casos de uso
- Transcrição de reuniões em tempo real com identificação dos falantes.
- Ferramentas de acessibilidade que ajudam pessoas com deficiência auditiva a acompanhar conversas.
- Geração local de legendas para podcasts ou vídeos.
- Transcrição de chamadas de suporte ao cliente com identificação dos falantes.
Início rápido
- 1
Instale o pacote do PyPI
pip install whisperlivekit - 2
Inicie o servidor, abra http://localhost:8000 e fale
wlk --model base --language en - 3
Ou baixe um modelo automaticamente e inicie o servidor em uma única etapa
wlk run whisper:tiny
Antes de usar
- Alguns backends opcionais exigem hardware específico, como GPUs NVIDIA CUDA ou Apple Silicon.
- Alguns extras pesados são incompatíveis entre si e precisam ser instalados em ambientes separados.
- O modo causal do Qwen3-ASR está disponível apenas em inglês.
Tópicos
Perguntas frequentes
- O que é WhisperLiveKit?
- Servidor de speech-to-text auto-hospedado com ASR em streaming, diarização de falantes, tradução ao vivo e APIs compatíveis com OpenAI e Deepgram. WhisperLiveKit (WLK) é um pipeline de speech-to-text auto-hospedado, desenvolvido para transcrição com baixa latência. Em vez de executar o Whisper em blocos de áudio fixos, ele usa estratégias de streaming como AlignAtt SimulStreaming e LocalAgreement, com detecção de atividade de voz, para gerar texto parcial e estável enquanto a pessoa ainda está falando.
- WhisperLiveKit é gratuito? Qual é a licença?
- WhisperLiveKit é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- WhisperLiveKit ainda é mantido?
- Manutenção ativa. O último commit de WhisperLiveKit foi em 1 de out. de 2026.
- Para que posso usar WhisperLiveKit?
- Transcrição de reuniões em tempo real com identificação dos falantes. Ferramentas de acessibilidade que ajudam pessoas com deficiência auditiva a acompanhar conversas. Geração local de legendas para podcasts ou vídeos. Transcrição de chamadas de suporte ao cliente com identificação dos falantes.
- Como instalar WhisperLiveKit?
- Instale o pacote do PyPI: pip install whisperlivekit Inicie o servidor, abra http://localhost:8000 e fale: wlk --model base --language en Ou baixe um modelo automaticamente e inicie o servidor em uma única etapa: wlk run whisper:tiny
- Onde consigo WhisperLiveKit?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/QuentinFuxa/WhisperLiveKit
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Aplicativo desktop que transcreve e traduz áudio e vídeo offline no seu computador, baseado no Whisper da OpenAI.
Plugin do OBS Studio que transcreve falas em tempo real, gera legendas e as traduz usando modelos Whisper executados localmente.
App web auto-hospedado que transcreve vídeos do YouTube e arquivos locais de áudio e vídeo com o OpenAI Whisper, na sua própria máquina.
Lista curada de fontes de dados públicas e pagas que transmitem ou atualizam dados em tempo real, abrangendo finanças, transporte, clima, notícias, cibersegurança e muito mais.
Kit de ferramentas open source e local para transcrição de fala, reconhecimento de intenções e síntese de voz, voltado a agentes de voz e apps em tempo real.