Repolode
yizhi-chengzi

yizhi-chengzi/video-ai-talking

本机运行的工具,用真人出镜视频加文案,自动配音并对口型,合成竖屏 MP4。

Star
480
Fork
70
未关闭 Issue
0
最近提交
2个月前

这是什么?

video-ai-talking 用一段真人出镜的正面近景视频生成竖屏口播短片。你提供视频和要说的文字,也可以只给主题,让 DeepSeek 先写文案。配音可选火山引擎或阿里百炼 CosyVoice,对口型由百炼 VideoRetalk 完成,最后用 FFmpeg 按所选字幕样式合成 MP4。

整个流程在本机运行,API Key 保存在浏览器 localStorage 中,任务和成片写入本地 data 目录。某几句可以切入视频素材替换画面。开启 mock 模式可在不访问外网的情况下测试整条链路。

运行需要 Node.js 20 以上、已加入 PATH 的 FFmpeg,以及对口型服务和至少一家语音合成服务的密钥;文案生成用的 DeepSeek 可选。

核心功能

  • 01支持火山引擎或阿里百炼 CosyVoice 文字转语音配音。
  • 02通过百炼 VideoRetalk 将真人视频与配音对口型。
  • 03用 FFmpeg 合成竖屏 MP4,可选择字幕样式。
  • 04可在指定字幕句上插入本地视频素材替换画面。
  • 05可选用 DeepSeek 根据主题生成口播文案。
  • 06API Key 保存在浏览器,任务数据保存在本机。

适用场景

  • 不必每次重新录制,快速制作讲解类口播短视频。
  • 用一段人脸录像批量生成竖屏短视频内容。
  • 在 mock 模式下先验证流程,再决定是否调用付费接口。

快速上手

  1. 1

    克隆仓库

    git clone https://github.com/yizhi-chengzi/video-ai-talking.git
  2. 2

    进入项目目录

    cd video-ai-talking
  3. 3

    复制示例环境变量文件

    cp .env.example .env
  4. 4

    安装依赖并启动开发服务,然后打开 http://127.0.0.1:5175

    npm install && npm run dev

使用前须知

  • 需要申请阿里百炼 VideoRetalk API Key,并在本机安装 FFmpeg。
  • 对口型和配音依赖付费云端接口(阿里百炼、火山引擎,可选 DeepSeek)。
  • 参考视频和配音会上传到阿里百炼临时存储以供处理。
  • Linux 上使用系统文件选择器需要安装 Zenity。

标签

常见问题

video-ai-talking 是什么?
本机运行的工具,用真人出镜视频加文案,自动配音并对口型,合成竖屏 MP4。 video-ai-talking 用一段真人出镜的正面近景视频生成竖屏口播短片。你提供视频和要说的文字,也可以只给主题,让 DeepSeek 先写文案。配音可选火山引擎或阿里百炼 CosyVoice,对口型由百炼 VideoRetalk 完成,最后用 FFmpeg 按所选字幕样式合成 MP4。
video-ai-talking 可以免费使用吗?用的什么许可证?
video-ai-talking 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
video-ai-talking 还在维护吗?
半年内有更新。video-ai-talking 最近一次提交是在 2026年9月3日。
video-ai-talking 适合用来做什么?
不必每次重新录制,快速制作讲解类口播短视频。 用一段人脸录像批量生成竖屏短视频内容。 在 mock 模式下先验证流程,再决定是否调用付费接口。
video-ai-talking 怎么安装和运行?
克隆仓库: git clone https://github.com/yizhi-chengzi/video-ai-talking.git 进入项目目录: cd video-ai-talking 复制示例环境变量文件: cp .env.example .env 安装依赖并启动开发服务,然后打开 http://127.0.0.1:5175: npm install && npm run dev
在哪里获取 video-ai-talking?
源代码和安装说明在 GitHub 上:https://github.com/yizhi-chengzi/video-ai-talking

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目