Repolode
QuentinFuxa

QuentinFuxa/WhisperLiveKit

Servidor de speech-to-text auto-hospedado com ASR em streaming, diarização de falantes, tradução ao vivo e APIs compatíveis com OpenAI e Deepgram.

Alternativa open source a:Otter.aiDeepgram

Estrelas
11,155
Forks
1,149
Issues abertas
17
Último commit
há 19 dias

O que é?

WhisperLiveKit (WLK) é um pipeline de speech-to-text auto-hospedado, desenvolvido para transcrição com baixa latência. Em vez de executar o Whisper em blocos de áudio fixos, ele usa estratégias de streaming como AlignAtt SimulStreaming e LocalAgreement, com detecção de atividade de voz, para gerar texto parcial e estável enquanto a pessoa ainda está falando.

O pacote oferece uma CLI com uma interface web servida via WebSocket em /asr, além de um endpoint REST compatível com OpenAI para transcrição de arquivos e um WebSocket compatível com Deepgram. Também pode transcrever arquivos diretamente, gerar legendas SRT e gerenciar modelos. Os backends incluem Faster-Whisper, MLX Whisper para Apple Silicon, Voxtral, Qwen3-ASR, NVIDIA Canary e FunASR SenseVoiceSmall. Componentes opcionais adicionam diarização de falantes (Sortformer ou Diart) e tradução via NLLB ou tradução baseada em LLM.

O servidor gerencia várias conexões simultâneas, e o projeto oferece suporte a HTTPS, tokens de API, configurações de CORS e implantação atrás de Nginx ou Gunicorn. Há imagens Docker para configurações com GPU e CPU.

Recursos principais

  • 01Transcrição em streaming com saída de texto parcial e estável via WebSocket.
  • 02Diarização de falantes usando Sortformer ou Diart.
  • 03Tradução simultânea por meio do NLLB ou de backends baseados em LLM.
  • 04Endpoint de transcrição compatível com OpenAI e WebSocket compatível com Deepgram.
  • 05Ferramentas de linha de comando para servir áudio ao vivo, transcrever arquivos, gerar legendas SRT e gerenciar modelos.
  • 06Vários backends de ASR, incluindo opções para Apple Silicon com MLX e para GPUs NVIDIA.

Casos de uso

  • Transcrição de reuniões em tempo real com identificação dos falantes.
  • Ferramentas de acessibilidade que ajudam pessoas com deficiência auditiva a acompanhar conversas.
  • Geração local de legendas para podcasts ou vídeos.
  • Transcrição de chamadas de suporte ao cliente com identificação dos falantes.

Início rápido

  1. 1

    Instale o pacote do PyPI

    pip install whisperlivekit
  2. 2

    Inicie o servidor, abra http://localhost:8000 e fale

    wlk --model base --language en
  3. 3

    Ou baixe um modelo automaticamente e inicie o servidor em uma única etapa

    wlk run whisper:tiny

Antes de usar

  • Alguns backends opcionais exigem hardware específico, como GPUs NVIDIA CUDA ou Apple Silicon.
  • Alguns extras pesados são incompatíveis entre si e precisam ser instalados em ambientes separados.
  • O modo causal do Qwen3-ASR está disponível apenas em inglês.

Tópicos

Perguntas frequentes

O que é WhisperLiveKit?
Servidor de speech-to-text auto-hospedado com ASR em streaming, diarização de falantes, tradução ao vivo e APIs compatíveis com OpenAI e Deepgram. WhisperLiveKit (WLK) é um pipeline de speech-to-text auto-hospedado, desenvolvido para transcrição com baixa latência. Em vez de executar o Whisper em blocos de áudio fixos, ele usa estratégias de streaming como AlignAtt SimulStreaming e LocalAgreement, com detecção de atividade de voz, para gerar texto parcial e estável enquanto a pessoa ainda está falando.
WhisperLiveKit é gratuito? Qual é a licença?
WhisperLiveKit é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
WhisperLiveKit ainda é mantido?
Manutenção ativa. O último commit de WhisperLiveKit foi em 1 de out. de 2026.
Para que posso usar WhisperLiveKit?
Transcrição de reuniões em tempo real com identificação dos falantes. Ferramentas de acessibilidade que ajudam pessoas com deficiência auditiva a acompanhar conversas. Geração local de legendas para podcasts ou vídeos. Transcrição de chamadas de suporte ao cliente com identificação dos falantes.
Como instalar WhisperLiveKit?
Instale o pacote do PyPI: pip install whisperlivekit Inicie o servidor, abra http://localhost:8000 e fale: wlk --model base --language en Ou baixe um modelo automaticamente e inicie o servidor em uma única etapa: wlk run whisper:tiny
Onde consigo WhisperLiveKit?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/QuentinFuxa/WhisperLiveKit

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados