Repolode
제출하기
FluidInference

FluidInference/FluidAudio

CoreML과 Neural Engine을 활용해 Apple 기기에서 ASR, TTS, VAD, 화자 분리 모델을 로컬로 실행하는 Swift SDK입니다.

대체할 수 있는 제품:Apple Dictation

GitHub에서 보기웹사이트
스타
3,271
포크
504
열린 이슈
29
마지막 커밋
5일 전

어떤 프로젝트인가요?

FluidAudio는 Apple 플랫폼에서 오디오 AI를 완전히 온디바이스로 실행하는 Swift SDK입니다. 추론은 CoreML 모델을 통해 Apple Neural Engine에서 실행되며, 프로젝트 설명에 따르면 CPU나 GPU에서 실행할 때보다 메모리 사용량과 CPU 부하가 줄어 백그라운드 및 상시 실행 작업에 적합합니다.

SDK는 Parakeet TDT 및 Parakeet EOU 모델을 사용하는 자동 음성 인식, Kokoro, PocketTTS, Chatterbox 모델을 활용한 음성 합성, Silero 기반 음성 활동 감지, 온라인 및 오프라인 화자 분리를 지원합니다. 화자 임베딩 추출 기능과 베타 버전의 에코 제거 및 노이즈 억제 구성 요소도 제공합니다. 모델은 Hugging Face에 게시되어 있으며, 일괄 처리와 벤치마크를 위한 CLI도 포함되어 있습니다.

Swift Package Manager 또는 CocoaPods로 통합할 수 있으며, 앱에서 사용하지 않는 하위 시스템을 제외하는 선택적 패키지 트레이트도 제공합니다. React Native 및 Rust/Tauri용 래퍼가 있으며, 문서에서는 사용자 지정 모델 레지스트리 URL, 프록시, 오프라인 전용 모드를 다룹니다.

핵심 기능

  • 01스트리밍 트랜스크립션을 포함해 Parakeet TDT 및 EOU 모델로 음성을 인식합니다.
  • 02Kokoro, PocketTTS, Chatterbox 모델로 음성을 합성합니다.
  • 03오프라인 및 스트리밍 사용을 위한 Silero 기반 음성 활동 감지를 지원합니다.
  • 04온라인 및 오프라인 화자 분리와 화자 임베딩 추출을 지원합니다.
  • 05CoreML을 통해 Apple Neural Engine에서 추론을 실행하며 GPU와 MPS를 사용하지 않습니다.
  • 06선택적 트레이트를 지원하는 Swift Package Manager로 통합해 빌드 크기를 줄일 수 있습니다.

활용 사례

  • 클라우드 API 없이 macOS 또는 iOS 앱에 온디바이스 받아쓰기나 트랜스크립션을 추가합니다.
  • 녹음에서 화자를 식별하는 회의록 작성 도구를 구축합니다.
  • Apple 기기에서 상시 음성 감지나 웨이크 워드 방식의 파이프라인을 실행합니다.
  • iOS 또는 macOS 앱에 로컬 음성 합성 내레이션을 추가합니다.

사용 전 알아둘 점

  • CoreML 및 Apple Neural Engine에 의존하므로 Apple 플랫폼(macOS 및 iOS)에서만 실행됩니다.
  • Swift 6.0 이상이 필요합니다.
  • Chatterbox, Paradee, LocalVQE를 포함한 일부 TTS 모델은 베타로 표시되어 있습니다.

포함된 컬렉션

AI 영상·오디오 도구

토픽

#speech-to-text#text-to-speech#coreml#swift#speaker-diarization#voice-activity-detection#on-device-ai#apple-neural-engine#ane#asr

자주 묻는 질문

FluidAudio은(는) 무엇인가요?
CoreML과 Neural Engine을 활용해 Apple 기기에서 ASR, TTS, VAD, 화자 분리 모델을 로컬로 실행하는 Swift SDK입니다. FluidAudio는 Apple 플랫폼에서 오디오 AI를 완전히 온디바이스로 실행하는 Swift SDK입니다. 추론은 CoreML 모델을 통해 Apple Neural Engine에서 실행되며, 프로젝트 설명에 따르면 CPU나 GPU에서 실행할 때보다 메모리 사용량과 CPU 부하가 줄어 백그라운드 및 상시 실행 작업에 적합합니다.
FluidAudio은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
FluidAudio은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
FluidAudio은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. FluidAudio의 마지막 커밋은 2026년 11월 2일입니다.
FluidAudio은(는) 어디에 사용할 수 있나요?
클라우드 API 없이 macOS 또는 iOS 앱에 온디바이스 받아쓰기나 트랜스크립션을 추가합니다. 녹음에서 화자를 식별하는 회의록 작성 도구를 구축합니다. Apple 기기에서 상시 음성 감지나 웨이크 워드 방식의 파이프라인을 실행합니다. iOS 또는 macOS 앱에 로컬 음성 합성 내레이션을 추가합니다.
FluidAudio은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/FluidInference/FluidAudio

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트