FluidInference/FluidAudio

これは何？

主な機能

• 01Parakeet TDTおよびEOUモデルによる音声認識。ストリーミング文字起こしにも対応。
• 02Kokoro、PocketTTS、Chatterboxモデルによる音声合成。
• 03オフラインとストリーミングの両方で使える、Sileroベースの音声アクティビティ検出。
• 04オンライン・オフラインの話者ダイアライゼーションと、話者埋め込みの抽出。
• 05CoreML経由でApple Neural Engine上で推論を実行し、GPUとMPSを使わずに処理。
• 06オプションのtraitsでビルドサイズを抑えられる、Swift Package Manager経由の組み込み。

ユースケース

• クラウドAPIを使わずに、macOSまたはiOSアプリへオンデバイスの音声入力や文字起こしを追加する。
• 録音内の話者を識別する、会議メモ作成ツールを構築する。
• Appleデバイスで常時稼働する音声検出や、ウェイクワード形式のパイプラインを実行する。
• iOSまたはmacOSアプリにローカルの音声読み上げ機能を追加する。

使う前に知っておきたいこと

• !CoreML と Apple Neural Engine に依存しているため、Apple プラットフォーム（macOS と iOS）でのみ動作します。
• !Swift 6.0 以降が必要です。
• !Chatterbox、Paradee、LocalVQE など、いくつかの TTS モデルはベータ版としてマークされています。

収録されている特集

トピック

よくある質問

FluidAudio とは？

CoreMLとNeural Engineを使い、ASR、TTS、VAD、話者ダイアライゼーションの音声モデルをAppleデバイス上でローカル実行するSwift SDK。 FluidAudioは、Appleプラットフォーム上で音声AIを完全にオンデバイス実行するためのSwift SDKです。CoreMLモデルを通じてApple Neural Engineで推論を実行します。プロジェクトによると、CPUやGPUで実行する場合と比べてメモリ使用量とCPU負荷を抑えられるため、バックグラウンドや常時稼働のワークロードに適しています。

FluidAudio は無料で使えますか？ライセンスは？

FluidAudio は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

FluidAudio は今もメンテナンスされていますか？

活発にメンテナンス中。FluidAudio の最終コミットは 2026年11月2日 です。

FluidAudio は何に使えますか？

クラウドAPIを使わずに、macOSまたはiOSアプリへオンデバイスの音声入力や文字起こしを追加する。 録音内の話者を識別する、会議メモ作成ツールを構築する。 Appleデバイスで常時稼働する音声検出や、ウェイクワード形式のパイプラインを実行する。 iOSまたはmacOSアプリにローカルの音声読み上げ機能を追加する。

FluidAudio はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/FluidInference/FluidAudio