Repolode
提交项目
openai

openai/whisper

通用语音识别模型，可转写多种语言音频、将语音翻译为英文并识别语言。

在 GitHub 查看
Star
110,909
Fork
13,448
未关闭 Issue
175
最近提交
2个月前

这是什么？

Whisper 是 OpenAI 开源的语音识别模型，使用大规模、多样化的音频数据训练。它基于 Transformer 序列到序列架构，在同一个模型中完成多语言语音识别、语音翻译为英文和口语语种识别，能够替代传统语音处理流程中的多个环节。

项目可通过 pip 安装 Python 包，也提供 `whisper` 命令行工具，音频解码依赖系统中的 ffmpeg。模型分为 tiny、base、small、medium、large 六个尺寸，另有针对速度优化的 turbo 模型；小尺寸还提供仅支持英语的 `.en` 版本。显存需求从 tiny 约 1 GB 到 large 约 10 GB 不等。

除了高层的 transcribe 接口，Python API 还提供语种检测、log-Mel 频谱图生成和解码选项等底层函数。turbo 模型未针对翻译任务训练，需要翻译时应选用 medium 或 large 等多语言模型。

核心功能

  • 01单一模型支持多语言语音识别。
  • 02多语言模型可将语音翻译为英文。
  • 03自动识别口语语种。
  • 04提供六种模型尺寸，可在准确率、速度和显存之间权衡。
  • 05同时提供命令行工具和 Python API 进行转写。

适用场景

  • 将会议录音、访谈或播客转写为文字。
  • 为音频或视频内容生成字幕。
  • 把非英语语音翻译成英文文本。
  • 在应用或本地工具中集成语音输入功能。

快速上手

  1. 1

    使用系统包管理器安装 ffmpeg（例如 macOS 上用 Homebrew）

    brew install ffmpeg
  2. 2

    从 PyPI 安装 Whisper

    pip install -U openai-whisper
  3. 3

    在命令行中转录音频文件

    whisper audio.flac audio.mp3 audio.wav --model turbo

使用前须知

  • turbo 模型未针对翻译任务训练；如需将语音翻译成英文，请使用 medium 或 large 模型。
  • 大模型需要约 10 GB 显存，较大的模型需要性能较好的硬件。
  • 不同语言的准确率和速度差异很大。

标签

#speech-recognition#speech-to-text#transcription#machine-learning#translation#python#pytorch

常见问题

whisper 是什么？
通用语音识别模型，可转写多种语言音频、将语音翻译为英文并识别语言。 Whisper 是 OpenAI 开源的语音识别模型，使用大规模、多样化的音频数据训练。它基于 Transformer 序列到序列架构，在同一个模型中完成多语言语音识别、语音翻译为英文和口语语种识别，能够替代传统语音处理流程中的多个环节。
whisper 可以免费使用吗？用的什么许可证？
whisper 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
whisper 还在维护吗？
半年内有更新。whisper 最近一次提交是在 2026年8月31日。
whisper 适合用来做什么？
将会议录音、访谈或播客转写为文字。 为音频或视频内容生成字幕。 把非英语语音翻译成英文文本。 在应用或本地工具中集成语音输入功能。
whisper 怎么安装和运行？
使用系统包管理器安装 ffmpeg（例如 macOS 上用 Homebrew）: brew install ffmpeg 从 PyPI 安装 Whisper: pip install -U openai-whisper 在命令行中转录音频文件: whisper audio.flac audio.mp3 audio.wav --model turbo
在哪里获取 whisper？
源代码和安装说明在 GitHub 上：https://github.com/openai/whisper

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目