Repolode
openai

openai/whisper

多言語の音声を文字起こしし、翻訳や言語判定も行う汎用音声認識モデル。

スター
110,909
フォーク
13,448
未解決の Issue
175
最終コミット
2 か月前

これは何?

Whisperは、OpenAIが公開するオープンソースの音声認識モデルで、多様な大量の音声データを使って学習されています。多言語音声認識、音声の英語翻訳、話されている言語の識別を、単一のTransformer sequence-to-sequenceモデルで処理できるため、従来の音声処理パイプラインの複数の工程を置き換えられます。

Pythonパッケージ(pipでインストール可能)として利用できるほか、音声のデコードにffmpegを必要とする`whisper`コマンドラインツールも用意されています。`tiny`から`large`までの6種類のモデルサイズに加え、文字起こしの高速化に最適化された`turbo`モデルがあります。小型モデルには英語専用の`.en`版もあります。必要なVRAMはモデルが大きいほど増え、`tiny`では約1 GB、`large`では約10 GBです。

高水準のtranscribe呼び出しに加えて、Python APIでは言語検出、log-Mel spectrogramの作成、デコードオプションを扱う低水準の関数も利用できます。`turbo`モデルは翻訳向けに学習されていないため、翻訳タスクには多言語対応のmediumまたはlargeモデルを使用してください。

主な機能

  • 011つのモデルで多言語の音声認識に対応。
  • 02多言語モデルによる音声の英語翻訳。
  • 03話されている言語を自動で識別。
  • 04精度、速度、メモリ使用量のバランスが異なる6種類のモデルサイズ。
  • 05文字起こしに使えるコマンドラインツールとPython API。

ユースケース

  • 会議の録音、インタビュー、ポッドキャストの文字起こし。
  • 音声や動画コンテンツへの字幕やキャプションの追加。
  • 英語以外の音声を英語テキストに翻訳。
  • アプリケーションやローカルツールへの音声入力機能の組み込み。

クイックスタート

  1. 1

    システムのパッケージマネージャー(macOS の Homebrew など)を使って ffmpeg をインストールします

    brew install ffmpeg
  2. 2

    PyPI から Whisper をインストールします

    pip install -U openai-whisper
  3. 3

    コマンドラインから音声ファイルを文字起こしします

    whisper audio.flac audio.mp3 audio.wav --model turbo

使う前に知っておきたいこと

  • turbo モデルは翻訳用に学習されていません。音声を英語に翻訳するには medium または large を使用してください。
  • モデルのサイズは large モデルで最大約 10 GB の VRAM を必要とするため、大きなモデルには高性能なハードウェアが必要です。
  • 精度と速度は言語によって大きく異なります。

トピック

よくある質問

whisper とは?
多言語の音声を文字起こしし、翻訳や言語判定も行う汎用音声認識モデル。 Whisperは、OpenAIが公開するオープンソースの音声認識モデルで、多様な大量の音声データを使って学習されています。多言語音声認識、音声の英語翻訳、話されている言語の識別を、単一のTransformer sequence-to-sequenceモデルで処理できるため、従来の音声処理パイプラインの複数の工程を置き換えられます。
whisper は無料で使えますか?ライセンスは?
whisper は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
whisper は今もメンテナンスされていますか?
半年以内に更新あり。whisper の最終コミットは 2026年8月31日 です。
whisper は何に使えますか?
会議の録音、インタビュー、ポッドキャストの文字起こし。 音声や動画コンテンツへの字幕やキャプションの追加。 英語以外の音声を英語テキストに翻訳。 アプリケーションやローカルツールへの音声入力機能の組み込み。
whisper のインストール方法は?
システムのパッケージマネージャー(macOS の Homebrew など)を使って ffmpeg をインストールします: brew install ffmpeg PyPI から Whisper をインストールします: pip install -U openai-whisper コマンドラインから音声ファイルを文字起こしします: whisper audio.flac audio.mp3 audio.wav --model turbo
whisper はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/openai/whisper

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト