トピックやキーワードから、台本・ナレーション・映像素材・字幕・音楽を自動生成して短い動画を作成します。
yizhi-chengzi/video-ai-talking
録画したトーク動画と台本から、AI音声と自動リップシンク付きの縦型MP4をローカルで生成
- スター
- 480
- フォーク
- 70
- 未解決の Issue
- 0
- 最終コミット
- 2 か月前
これは何?
video-ai-talkingは、実在する人物を1回撮影した素材から、短いトーク動画を作成します。正面から顔をアップで撮影した動画と、話させるテキストを用意するか、トピックをもとにLLMで台本を作成できます。Volcano EngineまたはAlibaba Bailian CosyVoiceで音声を生成し、動画と音声をBailian VideoRetalkに送ってリップシンクを行います。最後にFFmpegで合成し、選択した字幕・タイトルのスタイルを適用した縦型MP4を出力します。
すべての処理はローカルマシン上で実行されます。APIキーはブラウザーのlocalStorageに保存され、タスクと完成した動画はローカルのデータフォルダーに書き込まれます。特定の字幕行に動画素材を挿入し、その部分の映像に差し替えることもできます。モックモードを使えば、外部サービスを呼び出さずにパイプラインをテストできます。
セットアップにはNode.js 20以降、PATH上のFFmpeg、リップシンクサービスのAPIキー、および少なくとも1つのTTSプロバイダーのAPIキーが必要です。台本作成に使うDeepSeekは任意です。
主な機能
- 01Volcano EngineまたはAlibaba Bailian CosyVoiceを使い、テキストから音声を生成します。
- 02Bailian VideoRetalkを使い、録画した動画を音声に合わせてリップシンクします。
- 03FFmpegで縦型MP4を合成し、字幕スタイルを選択できます。
- 04選択した字幕行にローカルの動画素材を挿入できます。
- 05DeepSeekを使って、トピックから台本を任意で作成できます。
- 06APIキーはブラウザーに、タスクデータはローカルマシンに保存します。
ユースケース
- 毎回撮影し直すことなく、短いトーク形式の解説動画を作成する。
- 人物を1回撮影した素材から、ショート動画プラットフォーム向けの縦型動画を制作する。
- API利用料を支払う前に、モックモードでAI吹き替えのトーク動画コンテンツを試作する。
クイックスタート
- 1
リポジトリをクローンする
git clone https://github.com/yizhi-chengzi/video-ai-talking.git - 2
プロジェクトフォルダーに移動する
cd video-ai-talking - 3
環境設定ファイルのサンプルをコピーする
cp .env.example .env - 4
依存関係をインストールして開発サーバーを起動し、http://127.0.0.1:5175 を開く
npm install && npm run dev
使う前に知っておきたいこと
- Bailian VideoRetalk API キーと、ローカルにインストールされた FFmpeg が必要です。
- リップシンクとボイスオーバーには、有料のクラウド API(Alibaba Bailian、Volcengine、任意で DeepSeek)を使用します。
- 処理のため、参照動画と音声を Alibaba Bailian の一時ストレージにアップロードします。
- Linux のファイル選択ダイアログを使うには Zenity のインストールが必要です。
トピック
よくある質問
- video-ai-talking とは?
- 録画したトーク動画と台本から、AI音声と自動リップシンク付きの縦型MP4をローカルで生成 video-ai-talkingは、実在する人物を1回撮影した素材から、短いトーク動画を作成します。正面から顔をアップで撮影した動画と、話させるテキストを用意するか、トピックをもとにLLMで台本を作成できます。Volcano EngineまたはAlibaba Bailian CosyVoiceで音声を生成し、動画と音声をBailian VideoRetalkに送ってリップシンクを行います。最後にFFmpegで合成し、選択した字幕・タイトルのスタイルを適用した縦型MP4を出力します。
- video-ai-talking は無料で使えますか?ライセンスは?
- video-ai-talking は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- video-ai-talking は今もメンテナンスされていますか?
- 半年以内に更新あり。video-ai-talking の最終コミットは 2026年9月3日 です。
- video-ai-talking は何に使えますか?
- 毎回撮影し直すことなく、短いトーク形式の解説動画を作成する。 人物を1回撮影した素材から、ショート動画プラットフォーム向けの縦型動画を制作する。 API利用料を支払う前に、モックモードでAI吹き替えのトーク動画コンテンツを試作する。
- video-ai-talking のインストール方法は?
- リポジトリをクローンする: git clone https://github.com/yizhi-chengzi/video-ai-talking.git プロジェクトフォルダーに移動する: cd video-ai-talking 環境設定ファイルのサンプルをコピーする: cp .env.example .env 依存関係をインストールして開発サーバーを起動し、http://127.0.0.1:5175 を開く: npm install && npm run dev
- video-ai-talking はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/yizhi-chengzi/video-ai-talking
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
AIコーディングアシスタントを、調査から編集・レンダリングまで行うパイプライン駆動の動画制作スタジオに変える、オープンソースのエージェント型動画制作システム。
AIエージェントがバズ動画を編集可能なワークフローに変換し、別バージョンを生成できる動画制作ツールキット
リップシンク動画生成、音声合成、音声クローン、ローカルAIモデル管理に対応したAIデジタルヒューマン制作デスクトップアプリ。
CodexとClaude Code向けの、ナレーション付き手描き解説動画を作成するスキル
スクリプトから、ローカル音声・単語ごとのタイミング・Canvas描画を使った解説動画や製品デモを生成します。