OpenAIのWhisper音声認識モデルをC/C++に移植し、CPUとGPUで高速・オフライン・依存関係なしに音声をテキスト化します。
k2-fsa/sherpa-onnx
onnxruntimeを使ったオフライン音声処理ツールキット。多くのプラットフォームと言語で、音声認識、音声合成、VAD、話者ダイアライゼーションなどに対応。
- スター
- 15,398
- フォーク
- 1,802
- 未解決の Issue
- 647
- 最終コミット
- 7 時間前
これは何?
sherpa-onnxは、インターネット接続なしで音声モデルをローカル実行するためのツールキットです。ストリーミングと非ストリーミングの音声認識、音声合成、話者ダイアライゼーション、話者識別と照合、音声言語識別、音声タグ付け、音声区間検出、キーワード検出、句読点の付与、音声強調、音源分離に対応しています。モデルの実行にはonnxruntimeを使用し、次世代Kaldiエコシステムの一部です。
同じエンジンで幅広いハードウェアを対象にでき、x86およびARMサーバー、Android、iOS、HarmonyOS、Raspberry Pi、RISC-Vボードのほか、Rockchip RKNN、Qualcomm QNN、Ascend、Axeraなど複数のNPUに対応しています。WebAssembly、Flutter、Tauri向けにもビルドでき、WebSocketサーバーとクライアントも提供しています。
C++、C、Python、Go、C#、Java、Kotlin、JavaScript、Swift、Rust、Dart、Pascal向けのバインディングを備えているため、開発者はアプリ、組み込みデバイス、バックエンドサービスにオフライン音声機能を組み込めます。
主な機能
- 01ストリーミングと非ストリーミングの両方に対応したオフライン音声認識
- 02音声合成、話者ダイアライゼーション、VADを1つのツールキットで提供
- 03onnxruntimeを使い、x86、ARM、RISC-Vや複数のNPUで動作
- 04ネットワーク経由で利用できるWebSocketサーバーとクライアントを提供
- 0512のプログラミング言語向けバインディングとWebAssemblyに対応
ユースケース
- モバイルアプリやデスクトップアプリにオフラインの音声入力や字幕機能を追加する
- Raspberry Piなどの組み込みボードで音声認識を実行する
- WebSocket経由で公開するセルフホスト型の音声サービスを構築する
- デバイスにキーワード検出やウェイクワード機能を組み込む
クイックスタート
- 1
READMEに記載されているHugging Face Spacesを使って、ブラウザーで試してください
トピック
よくある質問
- sherpa-onnx とは?
- onnxruntimeを使ったオフライン音声処理ツールキット。多くのプラットフォームと言語で、音声認識、音声合成、VAD、話者ダイアライゼーションなどに対応。 sherpa-onnxは、インターネット接続なしで音声モデルをローカル実行するためのツールキットです。ストリーミングと非ストリーミングの音声認識、音声合成、話者ダイアライゼーション、話者識別と照合、音声言語識別、音声タグ付け、音声区間検出、キーワード検出、句読点の付与、音声強調、音源分離に対応しています。モデルの実行にはonnxruntimeを使用し、次世代Kaldiエコシステムの一部です。
- sherpa-onnx は無料で使えますか?ライセンスは?
- sherpa-onnx は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- sherpa-onnx は今もメンテナンスされていますか?
- 活発にメンテナンス中。sherpa-onnx の最終コミットは 2026年10月20日 です。
- sherpa-onnx は何に使えますか?
- モバイルアプリやデスクトップアプリにオフラインの音声入力や字幕機能を追加する Raspberry Piなどの組み込みボードで音声認識を実行する WebSocket経由で公開するセルフホスト型の音声サービスを構築する デバイスにキーワード検出やウェイクワード機能を組み込む
- sherpa-onnx のインストール方法は?
- READMEに記載されているHugging Face Spacesを使って、ブラウザーで試してください
- sherpa-onnx はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/k2-fsa/sherpa-onnx
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
デジタルヒューマン(2.5D、3D、モバイル、PC、Web)とLLM(OpenAI互換、DeepSeek)を業務システムにつなぐエージェントフレームワーク。
リアルタイム音声エージェントやアプリ向けの、音声認識・意図認識・音声合成に対応したオープンソースのオンデバイスツールキット。
オフラインの音声認識・音声合成・機械翻訳で、メモの作成、読み上げ、翻訳ができる Linux デスクトップおよび Sailfish OS 向けアプリ。
Microsoftによるオープンソースの音声AIモデル群。長時間音声の認識(ASR)、複数話者の音声合成(TTS)、リアルタイムストリーミングTTSに対応。
Google AI EdgeのAndroid・iOSアプリ。オープンソースLLMやオンデバイス生成AIを、スマートフォン上でオフラインで試せます。