Открытый набор инструментов для офлайн-распознавания речи и ASR в потоковом режиме, с VAD, расстановкой знаков препинания, метками говорящих и совместимым с OpenAI сервером.
21 тыс.+65 за неделю2,1 тыс.PythonMITОбновлён 22 часа назад
FluidInference/FluidAudio
Swift SDK для локального запуска моделей распознавания и синтеза речи, VAD и диаризации на устройствах Apple через CoreML и Neural Engine.
Open source альтернатива:Apple Dictation
- Звёзды
- 3,271
- Форки
- 504
- Открытые issues
- 29
- Последний коммит
- 5 дней назад
Что это?
FluidAudio — это Swift SDK для локального запуска аудио-AI на платформах Apple. Инференс выполняется на Apple Neural Engine с помощью моделей CoreML; по заявлению проекта, по сравнению с запуском на CPU или GPU это снижает потребление памяти и нагрузку на CPU, поэтому SDK подходит для фоновых и постоянно работающих задач.
SDK поддерживает автоматическое распознавание речи с моделями Parakeet TDT и Parakeet EOU, синтез речи с моделями Kokoro, PocketTTS и Chatterbox, обнаружение голосовой активности на базе Silero, а также онлайн- и офлайн-диаризацию говорящих. Кроме того, в нём есть извлечение эмбеддингов говорящих и компонент подавления эха и шума в бета-версии. Модели публикуются на Hugging Face, а в проект также входит CLI для пакетной обработки и бенчмарков.
Подключить SDK можно через Swift Package Manager или CocoaPods; дополнительные package traits позволяют исключить подсистемы, которые приложению не нужны. Доступны обёртки для React Native и Rust/Tauri, а документация описывает настройку URL реестра моделей, прокси и режима только для офлайн-работы.
Ключевые возможности
- 01Распознавание речи с моделями Parakeet TDT и EOU, включая потоковую транскрипцию.
- 02Синтез речи с моделями Kokoro, PocketTTS и Chatterbox.
- 03Обнаружение голосовой активности на базе Silero для офлайн- и потоковой обработки.
- 04Онлайн- и офлайн-диаризация говорящих, а также извлечение эмбеддингов говорящих.
- 05Инференс на Apple Neural Engine через CoreML без использования GPU и MPS.
- 06Подключение через Swift Package Manager с дополнительными traits для уменьшения размера сборки.
Сценарии использования
- Добавление диктовки или транскрипции на устройстве в приложение для macOS или iOS без облачного API.
- Создание инструментов для заметок о встречах с разметкой говорящих в записях.
- Запуск постоянно работающего обнаружения голоса или конвейеров с активацией по ключевому слову на устройствах Apple.
- Добавление локального озвучивания текста в приложения для iOS или macOS.
Что важно знать
- Работает только на платформах Apple (macOS и iOS), поскольку зависит от CoreML и Apple Neural Engine.
- Требуется Swift 6.0 или новее.
- Некоторые модели TTS, включая Chatterbox, Paradee и LocalVQE, помечены как бета-версии.
В подборках
Темы
Частые вопросы
- Что такое FluidAudio?
- Swift SDK для локального запуска моделей распознавания и синтеза речи, VAD и диаризации на устройствах Apple через CoreML и Neural Engine. FluidAudio — это Swift SDK для локального запуска аудио-AI на платформах Apple. Инференс выполняется на Apple Neural Engine с помощью моделей CoreML; по заявлению проекта, по сравнению с запуском на CPU или GPU это снижает потребление памяти и нагрузку на CPU, поэтому SDK подходит для фоновых и постоянно работающих задач.
- FluidAudio можно использовать бесплатно? Какая у него лицензия?
- FluidAudio распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- FluidAudio всё ещё поддерживается?
- Активно поддерживается. Последний коммит в FluidAudio — 2 нояб. 2026 г..
- Для чего можно использовать FluidAudio?
- Добавление диктовки или транскрипции на устройстве в приложение для macOS или iOS без облачного API. Создание инструментов для заметок о встречах с разметкой говорящих в записях. Запуск постоянно работающего обнаружения голоса или конвейеров с активацией по ключевому слову на устройствах Apple. Добавление локального озвучивания текста в приложения для iOS или macOS.
- Где скачать FluidAudio?
- Исходный код и инструкции по установке — на GitHub: https://github.com/FluidInference/FluidAudio
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Набор инструментов для работы с речью на C++ и ggml: синтез речи, распознавание и обнаружение голосовой активности на Metal, Vulkan или CPU, с сервером, совместимым с OpenAI.
ИИ и машинное обучение#speech-synthesis#speech-recognition#text-to-speech#voice-activity-detection#ggml
368+90 за неделю23C++MITАктивно поддерживаетсяОбновлён 6 дней назад
Распознавание речи с открытым исходным кодом на базе Whisper: точные временные метки для каждого слова и опциональная диаризация говорящих.
25,1 тыс.+176 за неделю2,5 тыс.PythonBSD-2-ClauseОбновлён 16 дней назад
Нативное приложение для macOS, которое локально генерирует изображения с помощью Stable Diffusion и FLUX.2 Klein на Apple Silicon.
8 тыс.+3 за неделю366SwiftGPL-3.0Активно поддерживаетсяОбновлён 5 дней назад
Локальный офлайн-инструментарий на Python для работы с аудио: распознавание и синтез речи, клонирование и преобразование голоса, генерация музыки и очистка звука через CLI и GUI.
ИИ и машинное обучение#voice-cloning#text-to-speech#speech-to-text#voice-conversion#music-generation
52492PythonAGPL-3.0Обновлён в прошлом месяце
Голосовой слой MCP для разговоров с Claude Code и другими совместимыми с MCP агентами — через облачные или локальные сервисы речи.
1,4 тыс.+11 за неделю201PythonMITОбновлён 5 дней назад