Repolode
提交项目
FluidInference

FluidInference/FluidAudio

基于 CoreML 与苹果神经引擎在 macOS/iOS 上本地运行语音模型的 Swift SDK，涵盖语音识别、合成、VAD 与说话人分离。

可替代:Apple Dictation

在 GitHub 查看官网
Star
3,271
Fork
504
未关闭 Issue
29
最近提交
4天前

这是什么？

FluidAudio 是一个面向苹果平台的 Swift SDK，用于在设备端本地运行音频 AI。推理由苹果神经引擎（ANE）上的 CoreML 模型完成，相比在 CPU 或 GPU 上运行，内存占用和 CPU 负载更低，适合后台及常驻场景。

在语音识别方面，SDK 支持 Parakeet TDT 与 Parakeet EOU 等模型，覆盖 25 种欧洲语言及日语，并提供中文 Mandarin 模型；语音合成支持 Kokoro、PocketTTS 与 Chatterbox 等模型；语音活动检测基于 Silero；说话人分离同时提供在线与离线流程，并包含说话人向量提取。此外还有处于测试阶段的回声消除与降噪组件。模型托管在 Hugging Face，项目附带用于批处理和基准测试的命令行工具。

项目可通过 Swift Package Manager 或 CocoaPods 集成，并支持按需裁剪子模块。另提供 React Native 与 Rust/Tauri 的封装，并支持自定义模型镜像地址、代理及完全离线模式。

核心功能

  • 01基于 Parakeet TDT 与 EOU 模型的语音识别，支持流式转写。
  • 02基于 Kokoro、PocketTTS 与 Chatterbox 模型的语音合成。
  • 03基于 Silero 的语音活动检测，支持离线与流式处理。
  • 04提供在线与离线说话人分离，并可提取说话人向量。
  • 05通过 CoreML 在苹果神经引擎上推理，不依赖 GPU 或 MPS。
  • 06支持 Swift Package Manager 集成，可通过 traits 裁剪体积。

适用场景

  • 在 macOS 或 iOS 应用中加入无需云端 API 的本地听写与转写功能。
  • 开发会议记录工具，为录音中的不同说话人打标签。
  • 在苹果设备上运行常驻的语音活动检测流程。
  • 为 iOS 或 macOS 应用添加本地语音朗读功能。

使用前须知

  • 仅支持苹果平台（macOS 和 iOS），因为它依赖 CoreML 和苹果神经引擎。
  • 需要 Swift 6.0 或更高版本。
  • 多个语音模型（包括 Chatterbox、Paradee 和 LocalVQE）仍处于测试版。

收录于专题

AI 视频与音频工具

标签

#speech-to-text#text-to-speech#coreml#swift#speaker-diarization#voice-activity-detection#on-device-ai#apple-neural-engine#ane#asr

常见问题

FluidAudio 是什么？
基于 CoreML 与苹果神经引擎在 macOS/iOS 上本地运行语音模型的 Swift SDK，涵盖语音识别、合成、VAD 与说话人分离。 FluidAudio 是一个面向苹果平台的 Swift SDK，用于在设备端本地运行音频 AI。推理由苹果神经引擎（ANE）上的 CoreML 模型完成，相比在 CPU 或 GPU 上运行，内存占用和 CPU 负载更低，适合后台及常驻场景。
FluidAudio 可以免费使用吗？用的什么许可证？
FluidAudio 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
FluidAudio 还在维护吗？
活跃维护中。FluidAudio 最近一次提交是在 2026年11月2日。
FluidAudio 适合用来做什么？
在 macOS 或 iOS 应用中加入无需云端 API 的本地听写与转写功能。 开发会议记录工具，为录音中的不同说话人打标签。 在苹果设备上运行常驻的语音活动检测流程。 为 iOS 或 macOS 应用添加本地语音朗读功能。
在哪里获取 FluidAudio？
源代码和安装说明在 GitHub 上：https://github.com/FluidInference/FluidAudio

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目