リアルタイム音声エージェントやアプリ向けの、音声認識・意図認識・音声合成に対応したオープンソースのオンデバイスツールキット。
jianchang512/pyvideotrans
音声認識、字幕翻訳、AI吹き替え、音声と映像の合成に対応した、動画を別の言語に翻訳するオープンソースツール。
代替できる製品:HeyGen
ElevenLabs Dubbing
- スター
- 19,453
- フォーク
- 2,409
- 未解決の Issue
- 8
- 最終コミット
- 5 日前
これは何?
pyVideoTransは、音声認識で字幕を作成し、LLMまたは機械翻訳サービスで翻訳したあと、音声合成で吹き替え音声を生成し、動画に統合する一連の処理を実行して、動画を別の言語に変換します。単独で、音声からSRTへの一括文字起こし、字幕翻訳、テキスト読み上げにも利用できます。
Faster-WhisperやOllamaなどのローカル・オフラインモデルと、OpenAI、Azure、DeepSeek、Edge-TTSなどのオンラインAPIの両方に対応しています。複数話者の吹き替えでは話者ごとに異なる音声を割り当てられ、F5-TTS、CosyVoice、GPT-SoVITSなどのモデルを使った音声クローンも利用できます。各工程で処理を一時停止し、認識、翻訳、吹き替えの結果を校正できます。
デスクトップGUIに加え、ヘッドレス実行や一括処理に使えるコマンドラインインターフェースと、リモート環境や社内ネットワークに導入できるブラウザベースのWebUIも提供します。Windows向けのパッケージ済みビルドが用意されており、ソースからインストールする場合はuvとFFmpegを使用します。
主な機能
- 01音声認識から字幕翻訳、TTS、動画合成までを自動で実行するパイプライン
- 02話者ダイアライゼーションと複数役のAI吹き替え
- 03F5-TTS、CosyVoice、GPT-SoVITSによる音声クローン
- 04Faster-WhisperやOllamaなどのローカルモデルとオンラインAPIに対応
- 05各工程の間で手動校正が可能
- 06コマンドラインインターフェースとブラウザベースのWebUI
ユースケース
- 外国語の動画を、別の言語の字幕付きまたは吹き替え版に翻訳する
- 音声ファイルや動画ファイルからSRT字幕を一括生成する
- 話者ごとに音声を割り当て、既存の動画にAIナレーションを追加する
- ローカルマシンや社内サーバーでオフラインの文字起こしと翻訳を実行する
クイックスタート
- 1
リリースページからパッケージ済みのWindows版をダウンロードする
- 2
リポジトリをクローンする
git clone https://github.com/jianchang512/pyvideotrans.git - 3
uvで依存関係をインストールする
uv sync - 4
GUIを起動する
uv run sp.py
使う前に知っておきたいこと
- ソースからデプロイする場合は、FFmpegを別途インストールする必要があります。
- GPUアクセラレーションには、CUDA 12.8とcuDNN 9.11をインストールしたNVIDIA製カードが必要です。
- 翻訳やTTSの多くのチャンネルでは、有料またはサードパーティのAPIキーが必要です。
- GPL-3.0ライセンスのため、派生物の配布もオープンソースにする必要があります。
トピック
よくある質問
- pyvideotrans とは?
- 音声認識、字幕翻訳、AI吹き替え、音声と映像の合成に対応した、動画を別の言語に翻訳するオープンソースツール。 pyVideoTransは、音声認識で字幕を作成し、LLMまたは機械翻訳サービスで翻訳したあと、音声合成で吹き替え音声を生成し、動画に統合する一連の処理を実行して、動画を別の言語に変換します。単独で、音声からSRTへの一括文字起こし、字幕翻訳、テキスト読み上げにも利用できます。
- pyvideotrans は無料で使えますか?ライセンスは?
- pyvideotrans は GPL-3.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- pyvideotrans は今もメンテナンスされていますか?
- 活発にメンテナンス中。pyvideotrans の最終コミットは 2026年10月15日 です。
- pyvideotrans は何に使えますか?
- 外国語の動画を、別の言語の字幕付きまたは吹き替え版に翻訳する 音声ファイルや動画ファイルからSRT字幕を一括生成する 話者ごとに音声を割り当て、既存の動画にAIナレーションを追加する ローカルマシンや社内サーバーでオフラインの文字起こしと翻訳を実行する
- pyvideotrans のインストール方法は?
- リリースページからパッケージ済みのWindows版をダウンロードする リポジトリをクローンする: git clone https://github.com/jianchang512/pyvideotrans.git uvで依存関係をインストールする: uv sync GUIを起動する: uv run sp.py
- pyvideotrans はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/jianchang512/pyvideotrans
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
音声認識、音声合成、音声クローン・変換、音楽生成、音声補正をまとめたローカル・オフライン対応のPythonツールキット。
646言語に対応した、音声クローンや音声デザイン、動画吹き替え、文字起こしなどを行うローカル優先のオープンソース音声スタジオ。
音声クローン、音声生成、あらゆるアプリへの音声入力、AIエージェントの音声化に対応するローカルファーストのオープンソースAI音声スタジオ。
LLM系モデルを基盤とするオープンソースの音声合成システム。ボイスクローニング、自然言語による感情制御、複数話者の音声生成に対応します。
Resemble AIによるオープンソースの音声合成モデルファミリー。短い参照音声から、英語をはじめ多言語で声をクローンできます。