Repolode
投稿する
HAKORADev

HAKORADev/VODER

音声認識、音声合成、音声クローン・変換、音楽生成、音声補正をまとめたローカル・オフライン対応のPythonツールキット。

代替できる製品:ElevenLabsDescript

GitHub で見る
スター
523
フォーク
92
未解決の Issue
1
最終コミット
18 日前

これは何？

VODERは、音声認識、音声デザインやクローン機能を備えた音声合成、音声変換、音楽生成とステム分離、音質向上、効果音生成、ボーカル分離、話者ダイアライゼーションなど、複数の音声処理ワークフローをひとつのインターフェースにまとめた音声処理エンジンです。サブスクリプションは不要で、ユーザー自身のマシン上で動作し、CPUとGPUのどちらでも利用できます。

単体の処理に加えて、行ごとのタイミングや効果音を指定できる複数話者の対話スクリプト、元の話者の声を保ったまま行う言語吹き替え、音声変換の動画入出力に対応しています。音声クローンを保存して再利用したり、URLからのダウンロードや音声編集などのユーティリティを実行したり、複数のタスクを名前付きパイプラインとして連結したりできます。

画像・動画・3Dシーン生成とローカルチャットモデルを利用できる、Project Evaというオプションのアドオンも用意されています。セットアップにはFFmpegが必要で、一部のモードではHugging Face tokenと十分なVRAMまたはRAMが求められます。作者は、プロジェクトがメンテナンスモードにあり、今後大規模な機能開発は行わないと表明しています。

主な機能

  • 01翻訳と話者ダイアライゼーションに対応した音声認識・文字起こし
  • 02テキストによる説明からの音声デザインと、参照音声クリップからの音声クローンに対応した音声合成
  • 0344.1kHzの音楽を含む、音声・動画の音声変換
  • 04歌詞とスタイルのプロンプトから音楽を生成し、楽器ごとのステムに分離
  • 0548kHzへのアップスケーリングに対応したボーカル分離、話者分離、音質向上
  • 06効果音と自動バックグラウンド音楽を組み合わせた複数話者の対話スクリプト

ユースケース

  • 元の話者の声を保ったまま、動画を別の言語に吹き替える
  • 会議やインタビューの録音から個々の話者の音声を分離する
  • ナレーターの声を一度クローンし、複数のTTSプロジェクトで再利用する
  • リミックス用に楽曲からボーカルまたは伴奏を分離する

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/HAKORADev/VODER.git && cd VODER
  2. 2

    推奨セットアップスクリプトで依存関係をインストールする

    python setup.py
  3. 3

    ヘルプ出力を表示する

    python src/voder.py
  4. 4

    GUIを起動する

    python src/voder.py gui

使う前に知っておきたいこと

  • 多くの重い依存関係を「pip install」でインストールする必要があり、快適な動作にはGPUが必要な場合があります。
  • AGPL-3.0ライセンスで提供されています。強いコピーレフトライセンスのため、クローズドソースでの再利用には制約があります。
  • Project Evaなど一部の機能は、大容量モデルを含む別売りのDLCです。

トピック

#voice-cloning#text-to-speech#speech-to-text#voice-conversion#music-generation#audio-processing#speaker-diarization#offline-ai#tts#voder

よくある質問

VODER とは？
音声認識、音声合成、音声クローン・変換、音楽生成、音声補正をまとめたローカル・オフライン対応のPythonツールキット。 VODERは、音声認識、音声デザインやクローン機能を備えた音声合成、音声変換、音楽生成とステム分離、音質向上、効果音生成、ボーカル分離、話者ダイアライゼーションなど、複数の音声処理ワークフローをひとつのインターフェースにまとめた音声処理エンジンです。サブスクリプションは不要で、ユーザー自身のマシン上で動作し、CPUとGPUのどちらでも利用できます。
VODER は無料で使えますか？ライセンスは？
VODER は AGPL-3.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
VODER は今もメンテナンスされていますか？
活発にメンテナンス中。VODER の最終コミットは 2026年10月1日 です。
VODER は何に使えますか？
元の話者の声を保ったまま、動画を別の言語に吹き替える 会議やインタビューの録音から個々の話者の音声を分離する ナレーターの声を一度クローンし、複数のTTSプロジェクトで再利用する リミックス用に楽曲からボーカルまたは伴奏を分離する
VODER のインストール方法は？
リポジトリをクローンする: git clone https://github.com/HAKORADev/VODER.git && cd VODER 推奨セットアップスクリプトで依存関係をインストールする: python setup.py ヘルプ出力を表示する: python src/voder.py GUIを起動する: python src/voder.py gui
VODER はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/HAKORADev/VODER

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト