VAD、句読点付与、話者ラベル、OpenAI互換のサーバー機能を備えた、オフライン・ストリーミングASR向けのオープンソース音声認識ツールキット。
openai/whisper
多言語の音声を文字起こしし、翻訳や言語判定も行う汎用音声認識モデル。
- スター
- 110,909
- フォーク
- 13,448
- 未解決の Issue
- 175
- 最終コミット
- 2 か月前
これは何?
Whisperは、OpenAIが公開するオープンソースの音声認識モデルで、多様な大量の音声データを使って学習されています。多言語音声認識、音声の英語翻訳、話されている言語の識別を、単一のTransformer sequence-to-sequenceモデルで処理できるため、従来の音声処理パイプラインの複数の工程を置き換えられます。
Pythonパッケージ(pipでインストール可能)として利用できるほか、音声のデコードにffmpegを必要とする`whisper`コマンドラインツールも用意されています。`tiny`から`large`までの6種類のモデルサイズに加え、文字起こしの高速化に最適化された`turbo`モデルがあります。小型モデルには英語専用の`.en`版もあります。必要なVRAMはモデルが大きいほど増え、`tiny`では約1 GB、`large`では約10 GBです。
高水準のtranscribe呼び出しに加えて、Python APIでは言語検出、log-Mel spectrogramの作成、デコードオプションを扱う低水準の関数も利用できます。`turbo`モデルは翻訳向けに学習されていないため、翻訳タスクには多言語対応のmediumまたはlargeモデルを使用してください。
主な機能
- 011つのモデルで多言語の音声認識に対応。
- 02多言語モデルによる音声の英語翻訳。
- 03話されている言語を自動で識別。
- 04精度、速度、メモリ使用量のバランスが異なる6種類のモデルサイズ。
- 05文字起こしに使えるコマンドラインツールとPython API。
ユースケース
- 会議の録音、インタビュー、ポッドキャストの文字起こし。
- 音声や動画コンテンツへの字幕やキャプションの追加。
- 英語以外の音声を英語テキストに翻訳。
- アプリケーションやローカルツールへの音声入力機能の組み込み。
クイックスタート
- 1
システムのパッケージマネージャー(macOS の Homebrew など)を使って ffmpeg をインストールします
brew install ffmpeg - 2
PyPI から Whisper をインストールします
pip install -U openai-whisper - 3
コマンドラインから音声ファイルを文字起こしします
whisper audio.flac audio.mp3 audio.wav --model turbo
使う前に知っておきたいこと
- turbo モデルは翻訳用に学習されていません。音声を英語に翻訳するには medium または large を使用してください。
- モデルのサイズは large モデルで最大約 10 GB の VRAM を必要とするため、大きなモデルには高性能なハードウェアが必要です。
- 精度と速度は言語によって大きく異なります。
トピック
よくある質問
- whisper とは?
- 多言語の音声を文字起こしし、翻訳や言語判定も行う汎用音声認識モデル。 Whisperは、OpenAIが公開するオープンソースの音声認識モデルで、多様な大量の音声データを使って学習されています。多言語音声認識、音声の英語翻訳、話されている言語の識別を、単一のTransformer sequence-to-sequenceモデルで処理できるため、従来の音声処理パイプラインの複数の工程を置き換えられます。
- whisper は無料で使えますか?ライセンスは?
- whisper は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- whisper は今もメンテナンスされていますか?
- 半年以内に更新あり。whisper の最終コミットは 2026年8月31日 です。
- whisper は何に使えますか?
- 会議の録音、インタビュー、ポッドキャストの文字起こし。 音声や動画コンテンツへの字幕やキャプションの追加。 英語以外の音声を英語テキストに翻訳。 アプリケーションやローカルツールへの音声入力機能の組み込み。
- whisper のインストール方法は?
- システムのパッケージマネージャー(macOS の Homebrew など)を使って ffmpeg をインストールします: brew install ffmpeg PyPI から Whisper をインストールします: pip install -U openai-whisper コマンドラインから音声ファイルを文字起こしします: whisper audio.flac audio.mp3 audio.wav --model turbo
- whisper はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/openai/whisper
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
最先端のテキスト、画像、音声、マルチモーダル機械学習モデルの定義、推論、学習に対応するフレームワーク。
OpenAIのWhisper音声認識モデルをC/C++に移植し、CPUとGPUで高速・オフライン・依存関係なしに音声をテキスト化します。
CTranslate2推論エンジン上で動作する、メモリ使用量を抑えた8-bit量子化対応のOpenAI Whisper音声認識モデル再実装。
Whisperを基盤とするオープンソースの音声認識ツール。強制アライメントによる単語単位のタイムスタンプと、任意の話者ダイアライゼーションに対応します。
OpenAIのWhisperを使い、音声や動画をオフラインで文字起こし・翻訳できるデスクトップアプリ。