Toolkit open source de reconhecimento de fala para ASR offline e em streaming, com VAD, pontuação, identificação de falantes e serviço compatível com OpenAI.
21 mil+65 esta semana2,1 milPythonMITAtualizado há 14 horas
FluidInference/FluidAudio
SDK Swift que executa modelos de fala (ASR, TTS, VAD e diarização de falantes) localmente em dispositivos Apple, usando CoreML e a Neural Engine.
Alternativa open source a:Apple Dictation
- Estrelas
- 3,271
- Forks
- 504
- Issues abertas
- 29
- Último commit
- há 4 dias
O que é?
FluidAudio é um SDK Swift para executar IA de áudio inteiramente no dispositivo em plataformas Apple. A inferência roda na Apple Neural Engine por meio de modelos CoreML. Segundo o projeto, isso reduz o uso de memória e a carga da CPU em comparação com a execução na CPU ou GPU, tornando a solução adequada para tarefas em segundo plano e workloads sempre ativos.
O SDK oferece reconhecimento automático de fala com os modelos Parakeet TDT e Parakeet EOU, conversão de texto em fala com os modelos Kokoro, PocketTTS e Chatterbox, detecção de atividade de voz baseada no Silero e diarização de falantes online e offline. Também oferece extração de embeddings de falantes e um componente beta de cancelamento de eco e supressão de ruído. Os modelos são publicados no Hugging Face, e o projeto inclui uma CLI para processamento em lote e benchmarks.
A integração é feita pelo Swift Package Manager ou CocoaPods, com traits opcionais para excluir subsistemas que o app não usa. Há wrappers para React Native e Rust/Tauri, e a documentação aborda URLs personalizadas para o registro de modelos, proxies e um modo exclusivo para uso offline.
Recursos principais
- 01Reconhecimento de fala com os modelos Parakeet TDT e EOU, incluindo transcrição em streaming.
- 02Conversão de texto em fala com os modelos Kokoro, PocketTTS e Chatterbox.
- 03Detecção de atividade de voz baseada no Silero para uso offline e em streaming.
- 04Diarização de falantes online e offline, além da extração de embeddings de falantes.
- 05Inferência na Apple Neural Engine via CoreML, sem usar GPU ou MPS.
- 06Integração via Swift Package Manager, com traits opcionais para reduzir o tamanho do build.
Casos de uso
- Adicionar ditado ou transcrição no dispositivo a um app para macOS ou iOS, sem API na nuvem.
- Criar ferramentas para anotações de reuniões que identificam os falantes nas gravações.
- Executar detecção de voz sempre ativa ou pipelines no estilo de palavra de ativação em dispositivos Apple.
- Adicionar narração local com conversão de texto em fala a apps para iOS ou macOS.
Antes de usar
- Funciona apenas em plataformas Apple (macOS e iOS), pois depende do CoreML e do Apple Neural Engine.
- Requer Swift 6.0 ou mais recente.
- Vários modelos de TTS, incluindo Chatterbox, Paradee e LocalVQE, estão marcados como beta.
Em coleções
Tópicos
Perguntas frequentes
- O que é FluidAudio?
- SDK Swift que executa modelos de fala (ASR, TTS, VAD e diarização de falantes) localmente em dispositivos Apple, usando CoreML e a Neural Engine. FluidAudio é um SDK Swift para executar IA de áudio inteiramente no dispositivo em plataformas Apple. A inferência roda na Apple Neural Engine por meio de modelos CoreML. Segundo o projeto, isso reduz o uso de memória e a carga da CPU em comparação com a execução na CPU ou GPU, tornando a solução adequada para tarefas em segundo plano e workloads sempre ativos.
- FluidAudio é gratuito? Qual é a licença?
- FluidAudio é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- FluidAudio ainda é mantido?
- Manutenção ativa. O último commit de FluidAudio foi em 2 de nov. de 2026.
- Para que posso usar FluidAudio?
- Adicionar ditado ou transcrição no dispositivo a um app para macOS ou iOS, sem API na nuvem. Criar ferramentas para anotações de reuniões que identificam os falantes nas gravações. Executar detecção de voz sempre ativa ou pipelines no estilo de palavra de ativação em dispositivos Apple. Adicionar narração local com conversão de texto em fala a apps para iOS ou macOS.
- Onde consigo FluidAudio?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/FluidInference/FluidAudio
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Kit de ferramentas de fala em C++ baseado em ggml para síntese de voz, reconhecimento de fala e detecção de atividade vocal, com suporte a Metal, Vulkan e CPU, além de um servidor compatível com OpenAI.
IA e Machine Learning#speech-synthesis#speech-recognition#text-to-speech#voice-activity-detection#ggml
368+90 esta semana23C++MITBem mantidoAtualizado há 6 dias
Reconhecimento de fala open source baseado no Whisper, com timestamps por palavra via alinhamento forçado e diarização de falantes opcional.
25,1 mil+176 esta semana2,5 milPythonBSD-2-ClauseAtualizado há 16 dias
Um app nativo para macOS que gera imagens localmente com Stable Diffusion e FLUX.2 Klein em Macs com Apple Silicon.
8 mil+3 esta semana366SwiftGPL-3.0Bem mantidoAtualizado há 5 dias
Kit de ferramentas Python local e offline que reúne transcrição e síntese de fala, clonagem e conversão de voz, geração de música e limpeza de áudio em uma CLI e GUI.
52492PythonAGPL-3.0Atualizado mês passado
Uma camada de voz MCP para conversar por voz com o Claude Code e outros agentes compatíveis com MCP, usando serviços de fala na nuvem ou locais.
1,4 mil+11 esta semana201PythonMITAtualizado há 5 dias