Kit open source de reconocimiento de voz para ASR offline y en streaming, con VAD, puntuación, etiquetas de hablante y servicio compatible con OpenAI.
20,9 mil+75 esta semana2,1 milPythonMITActualizado hace 15 horas
FluidInference/FluidAudio
SDK de Swift que ejecuta modelos de voz (ASR, TTS, VAD y diarización de hablantes) localmente en dispositivos Apple mediante CoreML y el Neural Engine.
Alternativa open source a:Apple Dictation
- Estrellas
- 3,263
- Forks
- 503
- Issues abiertos
- 29
- Último commit
- hace 3 días
¿Qué es?
FluidAudio es un SDK de Swift para ejecutar IA de audio íntegramente en el dispositivo en plataformas Apple. La inferencia se ejecuta en el Apple Neural Engine mediante modelos CoreML, lo que, según el proyecto, reduce el uso de memoria y la carga de la CPU frente a la ejecución en la CPU o la GPU, por lo que resulta adecuado para tareas en segundo plano y cargas de trabajo siempre activas.
El SDK incluye reconocimiento automático del habla con los modelos Parakeet TDT y Parakeet EOU, conversión de texto a voz con los modelos Kokoro, PocketTTS y Chatterbox, detección de actividad de voz basada en Silero, y diarización de hablantes tanto en línea como fuera de línea. También permite extraer embeddings de hablantes e incluye un componente beta de cancelación de eco y supresión de ruido. Los modelos se publican en Hugging Face y el proyecto incluye una CLI para procesamiento por lotes y benchmarks.
La integración se realiza mediante Swift Package Manager o CocoaPods, con traits de paquete opcionales para excluir los subsistemas que una app no utiliza. Hay wrappers para React Native y Rust/Tauri, y la documentación abarca las URL de registros de modelos personalizados, los proxies y un modo exclusivamente sin conexión.
Funciones clave
- 01Reconocimiento del habla con los modelos Parakeet TDT y EOU, incluida la transcripción en streaming.
- 02Conversión de texto a voz con los modelos Kokoro, PocketTTS y Chatterbox.
- 03Detección de actividad de voz basada en Silero para uso sin conexión y en streaming.
- 04Diarización de hablantes en línea y sin conexión, además de extracción de embeddings de hablantes.
- 05Inferencia en el Apple Neural Engine mediante CoreML, sin usar GPU ni MPS.
- 06Integración mediante Swift Package Manager con traits opcionales para reducir el tamaño de la compilación.
Casos de uso
- Añadir dictado o transcripción en el dispositivo a una app de macOS o iOS sin recurrir a una API en la nube.
- Crear herramientas para tomar notas de reuniones que identifiquen a los hablantes en las grabaciones.
- Ejecutar detección de voz siempre activa o flujos de trabajo similares a los de una palabra de activación en dispositivos Apple.
- Añadir narración local mediante conversión de texto a voz a apps de iOS o macOS.
Antes de usarlo
- Solo funciona en plataformas Apple (macOS e iOS), ya que depende de CoreML y Apple Neural Engine.
- Requiere Swift 6.0 o posterior.
- Varios modelos TTS, como Chatterbox, Paradee y LocalVQE, están marcados como beta.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es FluidAudio?
- SDK de Swift que ejecuta modelos de voz (ASR, TTS, VAD y diarización de hablantes) localmente en dispositivos Apple mediante CoreML y el Neural Engine. FluidAudio es un SDK de Swift para ejecutar IA de audio íntegramente en el dispositivo en plataformas Apple. La inferencia se ejecuta en el Apple Neural Engine mediante modelos CoreML, lo que, según el proyecto, reduce el uso de memoria y la carga de la CPU frente a la ejecución en la CPU o la GPU, por lo que resulta adecuado para tareas en segundo plano y cargas de trabajo siempre activas.
- ¿FluidAudio es gratuito? ¿Qué licencia tiene?
- FluidAudio es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿FluidAudio sigue mantenido?
- Mantenimiento activo. El último commit de FluidAudio fue el 2 nov 2026.
- ¿Para qué puedo usar FluidAudio?
- Añadir dictado o transcripción en el dispositivo a una app de macOS o iOS sin recurrir a una API en la nube. Crear herramientas para tomar notas de reuniones que identifiquen a los hablantes en las grabaciones. Ejecutar detección de voz siempre activa o flujos de trabajo similares a los de una palabra de activación en dispositivos Apple. Añadir narración local mediante conversión de texto a voz a apps de iOS o macOS.
- ¿Dónde consigo FluidAudio?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/FluidInference/FluidAudio
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Kit de herramientas de voz en C++ basado en ggml para síntesis de voz, reconocimiento y detección de actividad de voz, compatible con Metal, Vulkan o CPU y con un servidor compatible con OpenAI.
IA y Machine Learning#speech-synthesis#speech-recognition#text-to-speech#voice-activity-detection#ggml
358+80 esta semana22C++MITBien mantenidoActualizado hace 5 días
Herramienta de código abierto de voz a texto basada en Whisper, con marcas de tiempo por palabra mediante alineación forzada y diarización de hablantes opcional.
25,1 mil+174 esta semana2,5 milPythonBSD-2-ClauseActualizado hace 15 días
Una app nativa para macOS que genera imágenes localmente con Stable Diffusion y FLUX.2 Klein en Apple Silicon.
8 mil+1 esta semana366SwiftGPL-3.0Bien mantenidoActualizado hace 4 días
Kit de herramientas de Python local y sin conexión que reúne transcripción, síntesis y clonación de voz, conversión de voz, generación musical y limpieza de audio en una CLI y una GUI.
526+1 esta semana92PythonAGPL-3.0Actualizado el mes pasado
Una capa de voz MCP para conversar hablando con Claude Code y otros agentes compatibles con MCP, mediante servicios de voz en la nube o locales.
1,4 mil+11 esta semana201PythonMITActualizado hace 4 días