Repolode
Предложить
Blaizzy

Blaizzy/mlx-audio

Библиотека Python для моделей преобразования текста в речь, речи в текст и речи в речь, работающих нативно на Apple Silicon через MLX.

Open source альтернатива:ElevenLabsOtter.ai

Открыть на GitHubСайт
Звёзды
8,090
Форки
765
Открытые issues
96
Последний коммит
3 часа назад

Что это?

MLX-Audio — библиотека Python для запуска аудиомоделей на компьютерах Mac с Apple Silicon с помощью фреймворка MLX от Apple. Она поддерживает преобразование текста в речь (TTS), речи в текст (STT), речи в речь (STS) и генерацию музыки, а также загружает множество конвертированных сообществом моделей с Hugging Face через единый CLI и Python API.

В библиотеку входит CLI (mlx_audio.tts.generate) для быстрой генерации речи с настройками потоковой передачи, воспроизведения, выбора голоса и объединения нескольких фрагментов. Модели предоставляют Python-интерфейс для генерации, клонирования голоса и, в некоторых случаях, получения временных меток для отдельных слов или диаризации говорящих. Скрипт конвертации поддерживает квантование до форматов от 3 до 8 бит и преобразование в bfloat16.

Также в библиотеке есть совместимый с OpenAI REST-сервер с эндпоинтами /v1/audio/speech и /v1/audio/transcriptions, а ещё веб-интерфейс. Для сохранения в MP3, FLAC, OGG или Opus нужен ffmpeg; WAV работает и без него. Отдельный Swift-пакет предназначен для iOS и macOS.

Ключевые возможности

  • 01Модели для преобразования текста в речь, речи в текст, речи в речь и генерации музыки на MLX
  • 02CLI и Python API для загрузки моделей с Hugging Face
  • 03Клонирование и выбор голоса для поддерживаемых TTS-моделей
  • 04Потоковая передача аудио и выравнивание на уровне слов для некоторых моделей
  • 05Совместимый с OpenAI REST-сервер для генерации речи и транскрибации
  • 06Скрипты квантования и преобразования dtype (от 3 до 8 бит, bfloat16, форматы MXFP)

Сценарии использования

  • Локальная генерация речи на Mac без отправки текста в облачный API
  • Транскрибация встреч или диктовки на Apple Silicon с метками говорящих
  • Запуск локального речевого эндпоинта в стиле OpenAI для разрабатываемого приложения
  • Удаление фонового шума или разделение говорящих в записях

Быстрый старт

  1. 1

    Установите пакет с помощью pip

    pip install mlx-audio
  2. 2

    Сгенерируйте речь из командной строки

    mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello, world!' --voice Vivian

Что важно знать

  • Нативно работает только на компьютерах Mac с Apple Silicon, поскольку основан на фреймворке MLX.
  • Распространяется под лицензией MIT, поэтому обязательства по copyleft не применяются.

В подборках

Open source приложения для MacИИ-инструменты для видео и аудио

Темы

#apple-silicon#mlx#text-to-speech#speech-to-text#speech-recognition#audio-processing#speech-synthesis#voice-cloning#multimodal#transformers

Частые вопросы

Что такое mlx-audio?
Библиотека Python для моделей преобразования текста в речь, речи в текст и речи в речь, работающих нативно на Apple Silicon через MLX. MLX-Audio — библиотека Python для запуска аудиомоделей на компьютерах Mac с Apple Silicon с помощью фреймворка MLX от Apple. Она поддерживает преобразование текста в речь (TTS), речи в текст (STT), речи в речь (STS) и генерацию музыки, а также загружает множество конвертированных сообществом моделей с Hugging Face через единый CLI и Python API.
mlx-audio можно использовать бесплатно? Какая у него лицензия?
mlx-audio распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
mlx-audio всё ещё поддерживается?
Активно поддерживается. Последний коммит в mlx-audio — 22 окт. 2026 г..
Для чего можно использовать mlx-audio?
Локальная генерация речи на Mac без отправки текста в облачный API Транскрибация встреч или диктовки на Apple Silicon с метками говорящих Запуск локального речевого эндпоинта в стиле OpenAI для разрабатываемого приложения Удаление фонового шума или разделение говорящих в записях
Как установить mlx-audio?
Установите пакет с помощью pip: pip install mlx-audio Сгенерируйте речь из командной строки: mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello, world!' --voice Vivian
Где скачать mlx-audio?
Исходный код и инструкции по установке — на GitHub: https://github.com/Blaizzy/mlx-audio

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

HAKORADev / VODER

Локальный офлайн-инструментарий на Python для работы с аудио: распознавание и синтез речи, клонирование и преобразование голоса, генерация музыки и очистка звука через CLI и GUI.

ИИ и машинное обучение#voice-cloning#text-to-speech#speech-to-text
52592PythonAGPL-3.0Обновлён 21 день назад

OpenBMB / VoxCPM

VoxCPM2 — open-source модель преобразования текста в речь без токенизатора: поддерживает 30 языков, создание голоса по текстовому описанию и клонирование по короткому аудиофрагменту.

ИИ и машинное обучение#text-to-speech#voice-cloning#speech-synthesis
39,9 тыс.4,5 тыс.PythonApache-2.0Обновлён 15 дней назад

fishaudio / fish-speech

Открытая система синтеза речи из текста с клонированием голоса, управлением эмоциями на естественном языке и генерацией речи нескольких персонажей на основе моделей в стиле LLM.

ИИ и машинное обучение#text-to-speech#voice-cloning#speech-synthesis
33,4 тыс.2,9 тыс.PythonOtherОбновлён 9 дней назад