Repolode
投稿する
Blaizzy

Blaizzy/mlx-audio

MLXフレームワークを使い、Apple Silicon上でネイティブに動作する音声合成・音声認識・音声変換モデル向けのPythonライブラリ。

代替できる製品:ElevenLabsOtter.ai

GitHub で見る公式サイト
スター
8,090
フォーク
765
未解決の Issue
96
最終コミット
2 時間前

これは何？

MLX-Audioは、AppleのMLXフレームワークを使ってApple Silicon搭載Macで音声モデルを実行するためのPythonライブラリです。音声合成（TTS）、音声認識（STT）、音声変換（STS）、音楽生成に対応しており、単一のコマンドラインツールとPython APIから、Hugging Face上のコミュニティ変換モデルを多数読み込めます。

すばやく音声を生成できるCLI（mlx_audio.tts.generate）が付属し、ストリーミング、再生、音声の選択、複数セグメントの結合などのオプションを利用できます。各モデルは生成とボイスクローニングのためのPythonインターフェースを備えており、一部のモデルでは単語単位のタイムスタンプや話者ダイアライゼーションにも対応しています。変換スクリプトでは、3〜8ビット形式への量子化とbfloat16への変換が可能です。

また、/v1/audio/speechと/v1/audio/transcriptionsエンドポイントを備えたOpenAI互換RESTサーバーと、Webインターフェースも含まれています。MP3、FLAC、OGG、Opus形式で保存するにはffmpegが必要ですが、WAVなら不要です。iOSとmacOS向けには別途Swiftパッケージが用意されています。

主な機能

  • 01MLX上で動作する音声合成、音声認識、音声変換、音楽生成モデル
  • 02Hugging Faceからモデルを読み込むためのコマンドラインツールとPython API
  • 03対応するTTSモデルでのボイスクローニングと音声の選択
  • 04ストリーミング音声出力と、一部モデルでの単語単位のアラインメント
  • 05音声合成・文字起こしエンドポイントを備えたOpenAI互換RESTサーバー
  • 06量子化とデータ型変換用スクリプト（3〜8ビット、bfloat16、MXFP形式）

ユースケース

  • テキストをクラウドAPIに送信せず、Mac上で音声を生成する
  • Apple Silicon上で話者ラベル付きの会議やディクテーションの文字起こしを行う
  • 開発中のアプリ向けに、OpenAI形式のローカル音声エンドポイントを実行する
  • 録音から背景ノイズを除去したり、話者を分離したりする

クイックスタート

  1. 1

    pipでパッケージをインストールする

    pip install mlx-audio
  2. 2

    コマンドラインから音声を生成する

    mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello, world!' --voice Vivian

使う前に知っておきたいこと

  • MLXフレームワークを基盤としているため、Apple Silicon搭載Macでのみネイティブに動作します。
  • MITライセンスで公開されているため、コピーレフトの義務はありません。

収録されている特集

オープンソースの Mac アプリAI 動画・音声ツール

トピック

#apple-silicon#mlx#text-to-speech#speech-to-text#speech-recognition#audio-processing#speech-synthesis#voice-cloning#multimodal#transformers

よくある質問

mlx-audio とは？
MLXフレームワークを使い、Apple Silicon上でネイティブに動作する音声合成・音声認識・音声変換モデル向けのPythonライブラリ。 MLX-Audioは、AppleのMLXフレームワークを使ってApple Silicon搭載Macで音声モデルを実行するためのPythonライブラリです。音声合成（TTS）、音声認識（STT）、音声変換（STS）、音楽生成に対応しており、単一のコマンドラインツールとPython APIから、Hugging Face上のコミュニティ変換モデルを多数読み込めます。
mlx-audio は無料で使えますか？ライセンスは？
mlx-audio は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
mlx-audio は今もメンテナンスされていますか？
活発にメンテナンス中。mlx-audio の最終コミットは 2026年10月22日 です。
mlx-audio は何に使えますか？
テキストをクラウドAPIに送信せず、Mac上で音声を生成する Apple Silicon上で話者ラベル付きの会議やディクテーションの文字起こしを行う 開発中のアプリ向けに、OpenAI形式のローカル音声エンドポイントを実行する 録音から背景ノイズを除去したり、話者を分離したりする
mlx-audio のインストール方法は？
pipでパッケージをインストールする: pip install mlx-audio コマンドラインから音声を生成する: mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello, world!' --voice Vivian
mlx-audio はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/Blaizzy/mlx-audio

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト