Repolode
yizhi-chengzi

yizhi-chengzi/video-ai-talking

録画したトーク動画と台本から、AI音声と自動リップシンク付きの縦型MP4をローカルで生成

スター
480
フォーク
70
未解決の Issue
0
最終コミット
2 か月前

これは何?

video-ai-talkingは、実在する人物を1回撮影した素材から、短いトーク動画を作成します。正面から顔をアップで撮影した動画と、話させるテキストを用意するか、トピックをもとにLLMで台本を作成できます。Volcano EngineまたはAlibaba Bailian CosyVoiceで音声を生成し、動画と音声をBailian VideoRetalkに送ってリップシンクを行います。最後にFFmpegで合成し、選択した字幕・タイトルのスタイルを適用した縦型MP4を出力します。

すべての処理はローカルマシン上で実行されます。APIキーはブラウザーのlocalStorageに保存され、タスクと完成した動画はローカルのデータフォルダーに書き込まれます。特定の字幕行に動画素材を挿入し、その部分の映像に差し替えることもできます。モックモードを使えば、外部サービスを呼び出さずにパイプラインをテストできます。

セットアップにはNode.js 20以降、PATH上のFFmpeg、リップシンクサービスのAPIキー、および少なくとも1つのTTSプロバイダーのAPIキーが必要です。台本作成に使うDeepSeekは任意です。

主な機能

  • 01Volcano EngineまたはAlibaba Bailian CosyVoiceを使い、テキストから音声を生成します。
  • 02Bailian VideoRetalkを使い、録画した動画を音声に合わせてリップシンクします。
  • 03FFmpegで縦型MP4を合成し、字幕スタイルを選択できます。
  • 04選択した字幕行にローカルの動画素材を挿入できます。
  • 05DeepSeekを使って、トピックから台本を任意で作成できます。
  • 06APIキーはブラウザーに、タスクデータはローカルマシンに保存します。

ユースケース

  • 毎回撮影し直すことなく、短いトーク形式の解説動画を作成する。
  • 人物を1回撮影した素材から、ショート動画プラットフォーム向けの縦型動画を制作する。
  • API利用料を支払う前に、モックモードでAI吹き替えのトーク動画コンテンツを試作する。

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/yizhi-chengzi/video-ai-talking.git
  2. 2

    プロジェクトフォルダーに移動する

    cd video-ai-talking
  3. 3

    環境設定ファイルのサンプルをコピーする

    cp .env.example .env
  4. 4

    依存関係をインストールして開発サーバーを起動し、http://127.0.0.1:5175 を開く

    npm install && npm run dev

使う前に知っておきたいこと

  • Bailian VideoRetalk API キーと、ローカルにインストールされた FFmpeg が必要です。
  • リップシンクとボイスオーバーには、有料のクラウド API(Alibaba Bailian、Volcengine、任意で DeepSeek)を使用します。
  • 処理のため、参照動画と音声を Alibaba Bailian の一時ストレージにアップロードします。
  • Linux のファイル選択ダイアログを使うには Zenity のインストールが必要です。

トピック

よくある質問

video-ai-talking とは?
録画したトーク動画と台本から、AI音声と自動リップシンク付きの縦型MP4をローカルで生成 video-ai-talkingは、実在する人物を1回撮影した素材から、短いトーク動画を作成します。正面から顔をアップで撮影した動画と、話させるテキストを用意するか、トピックをもとにLLMで台本を作成できます。Volcano EngineまたはAlibaba Bailian CosyVoiceで音声を生成し、動画と音声をBailian VideoRetalkに送ってリップシンクを行います。最後にFFmpegで合成し、選択した字幕・タイトルのスタイルを適用した縦型MP4を出力します。
video-ai-talking は無料で使えますか?ライセンスは?
video-ai-talking は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
video-ai-talking は今もメンテナンスされていますか?
半年以内に更新あり。video-ai-talking の最終コミットは 2026年9月3日 です。
video-ai-talking は何に使えますか?
毎回撮影し直すことなく、短いトーク形式の解説動画を作成する。 人物を1回撮影した素材から、ショート動画プラットフォーム向けの縦型動画を制作する。 API利用料を支払う前に、モックモードでAI吹き替えのトーク動画コンテンツを試作する。
video-ai-talking のインストール方法は?
リポジトリをクローンする: git clone https://github.com/yizhi-chengzi/video-ai-talking.git プロジェクトフォルダーに移動する: cd video-ai-talking 環境設定ファイルのサンプルをコピーする: cp .env.example .env 依存関係をインストールして開発サーバーを起動し、http://127.0.0.1:5175 を開く: npm install && npm run dev
video-ai-talking はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/yizhi-chengzi/video-ai-talking

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト