VAD、句読点付与、話者ラベル、OpenAI互換のサーバー機能を備えた、オフライン・ストリーミングASR向けのオープンソース音声認識ツールキット。
k2-fsa/sherpa
PyTorchベースの音声認識推論フレームワーク。学習済みのTransducerおよびCTCエンドツーエンドASRモデルをデプロイするためのC++ APIとPython APIを提供します。
- スター
- 1,011
- フォーク
- 152
- 未解決の Issue
- 110
- 最終コミット
- 13 時間前
これは何?
sherpaは、PyTorchを基盤とする音声認識推論フレームワークです。TransducerベースとCTCベースのアーキテクチャなど、エンドツーエンドモデルに特化しており、モデルの学習ではなく、学習済みモデルを使った音声の文字起こしを目的としたデプロイに重点を置いています。
C++ APIとPython APIの両方を提供します。次世代Kaldiエコシステムの一部で、学習やファインチューニングは別プロジェクトのicefallが担います。また、ネットワーク経由で音声認識を提供するためのWebSocketベースのサーバーも含まれています。
PyTorchに依存しないデプロイには、同じ開発者が保守するsherpa-onnxとsherpa-ncnnを利用できます。これらはiOS、Android、組み込みシステムも対象としています。
主な機能
- 01TransducerベースおよびCTCベースのエンドツーエンド音声認識モデルに対応しています。
- 02C++ APIとPython APIの両方を提供します。
- 03ネットワーク経由の文字起こしに使えるWebSocketサーバーを備えています。
- 04PyTorchを基盤とし、学習済みモデルを実行できます。
ユースケース
- 学習済み音声認識モデルをWebSocket経由のストリーミングサービスとしてデプロイする。
- PythonまたはC++アプリケーションにオフラインまたはオンラインの音声文字起こし機能を追加する。
- 同じプロジェクト群のONNX版やncnn版と、PyTorchベースのデプロイ方法を比較する。
クイックスタート
- 1
インストール方法と使い方については、ドキュメントをご覧ください
- 2
または、何もインストールせずにブラウザーで試せます
使う前に知っておきたいこと
- 対象はtransducerおよびCTCのend-to-endモデルのみで、他の種類のモデルには対応していません。
- deploymentとinference専用です。trainingやfine-tuningには、別途icefallプロジェクトが必要です。
トピック
よくある質問
- sherpa とは?
- PyTorchベースの音声認識推論フレームワーク。学習済みのTransducerおよびCTCエンドツーエンドASRモデルをデプロイするためのC++ APIとPython APIを提供します。 sherpaは、PyTorchを基盤とする音声認識推論フレームワークです。TransducerベースとCTCベースのアーキテクチャなど、エンドツーエンドモデルに特化しており、モデルの学習ではなく、学習済みモデルを使った音声の文字起こしを目的としたデプロイに重点を置いています。
- sherpa は無料で使えますか?ライセンスは?
- sherpa は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- sherpa は今もメンテナンスされていますか?
- 活発にメンテナンス中。sherpa の最終コミットは 2026年10月20日 です。
- sherpa は何に使えますか?
- 学習済み音声認識モデルをWebSocket経由のストリーミングサービスとしてデプロイする。 PythonまたはC++アプリケーションにオフラインまたはオンラインの音声文字起こし機能を追加する。 同じプロジェクト群のONNX版やncnn版と、PyTorchベースのデプロイ方法を比較する。
- sherpa のインストール方法は?
- インストール方法と使い方については、ドキュメントをご覧ください または、何もインストールせずにブラウザーで試せます
- sherpa はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/k2-fsa/sherpa
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
多言語の音声を文字起こしし、翻訳や言語判定も行う汎用音声認識モデル。
Microsoftによるオープンソースの音声AIモデル群。長時間音声の認識(ASR)、複数話者の音声合成(TTS)、リアルタイムストリーミングTTSに対応。
音声認識(ASR)、音声合成(TTS)、音声LLMに対応し、音声AIモデルの構築、ファインチューニング、デプロイに使えるNVIDIAのオープンソースツールキット。
機械学習モデルの構築からデプロイまでを支える、Python APIとC++ APIを備えたオープンソースのエンドツーエンドプラットフォーム。
最先端のテキスト、画像、音声、マルチモーダル機械学習モデルの定義、推論、学習に対応するフレームワーク。