Repolode
yizhi-chengzi

yizhi-chengzi/video-ai-talking

녹화한 인물 영상과 대본을 AI 음성 및 자동 립싱크가 적용된 세로형 MP4로 만드는 로컬 우선 도구입니다.

스타
480
포크
70
열린 이슈
0
마지막 커밋
2개월 전

어떤 프로젝트인가요?

video-ai-talking은 실제 인물을 한 번 촬영한 영상으로 짧은 토킹헤드 동영상을 만듭니다. 정면 클로즈업 영상을 넣고 대사를 입력하거나, 주제를 바탕으로 LLM이 대본을 작성하게 할 수 있습니다. Volcano Engine 또는 Alibaba Bailian CosyVoice로 음성을 생성하고, 영상과 음성을 Bailian VideoRetalk에 보내 립싱크를 적용한 뒤, FFmpeg로 합성해 선택한 자막 및 제목 스타일을 적용한 세로형 MP4를 출력합니다.

모든 작업은 사용자 컴퓨터에서 실행됩니다. API 키는 브라우저의 localStorage에 저장되며, 작업과 완성된 영상은 로컬 데이터 폴더에 기록됩니다. 특정 자막 줄에 영상 소스를 삽입해 해당 구간의 화면을 대체할 수 있습니다. 모의 모드에서는 외부 서비스를 호출하지 않고 파이프라인을 테스트할 수 있습니다.

Node.js 20 이상, PATH에 등록된 FFmpeg, 립싱크 서비스 API 키와 TTS 제공자 한 곳 이상의 API 키가 필요합니다. 대본 작성을 위한 DeepSeek는 선택 사항입니다.

핵심 기능

  • 01Volcano Engine 또는 Alibaba Bailian CosyVoice로 텍스트에서 음성을 생성합니다.
  • 02Bailian VideoRetalk를 사용해 녹화한 영상과 음성을 립싱크합니다.
  • 03FFmpeg로 세로형 MP4를 합성하고 자막 스타일을 선택할 수 있습니다.
  • 04선택한 자막 줄 위에 로컬 영상 소스를 삽입합니다.
  • 05선택적으로 DeepSeek를 사용해 주제에서 대본을 작성합니다.
  • 06API 키는 브라우저에, 작업 데이터는 로컬 컴퓨터에 저장합니다.

활용 사례

  • 매번 새로 촬영하지 않고 짧은 토킹헤드 설명 영상을 제작합니다.
  • 얼굴을 한 번 촬영한 영상으로 숏폼 플랫폼용 세로형 클립을 만듭니다.
  • API 호출 비용을 지불하기 전에 모의 모드로 AI 더빙 토킹헤드 콘텐츠를 시험 제작합니다.

빠른 시작

  1. 1

    리포지토리를 클론합니다

    git clone https://github.com/yizhi-chengzi/video-ai-talking.git
  2. 2

    프로젝트 폴더로 이동합니다

    cd video-ai-talking
  3. 3

    예제 env 파일을 복사합니다

    cp .env.example .env
  4. 4

    종속성을 설치하고 개발 서버를 시작한 다음 http://127.0.0.1:5175 를 엽니다

    npm install && npm run dev

사용 전 알아둘 점

  • Bailian VideoRetalk API 키와 로컬에 설치된 FFmpeg가 필요합니다.
  • 립싱크와 보이스오버에는 유료 클라우드 API(Alibaba Bailian, Volcengine, 선택 사항인 DeepSeek)를 사용합니다.
  • 처리를 위해 참조 동영상과 음성 오디오를 Alibaba Bailian 임시 저장소에 업로드합니다.
  • Linux 파일 선택기를 사용하려면 Zenity를 설치해야 합니다.

토픽

자주 묻는 질문

video-ai-talking은(는) 무엇인가요?
녹화한 인물 영상과 대본을 AI 음성 및 자동 립싱크가 적용된 세로형 MP4로 만드는 로컬 우선 도구입니다. video-ai-talking은 실제 인물을 한 번 촬영한 영상으로 짧은 토킹헤드 동영상을 만듭니다. 정면 클로즈업 영상을 넣고 대사를 입력하거나, 주제를 바탕으로 LLM이 대본을 작성하게 할 수 있습니다. Volcano Engine 또는 Alibaba Bailian CosyVoice로 음성을 생성하고, 영상과 음성을 Bailian VideoRetalk에 보내 립싱크를 적용한 뒤, FFmpeg로 합성해 선택한 자막 및 제목 스타일을 적용한 세로형 MP4를 출력합니다.
video-ai-talking은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
video-ai-talking은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
video-ai-talking은(는) 아직 유지보수되고 있나요?
6개월 이내 업데이트. video-ai-talking의 마지막 커밋은 2026년 9월 3일입니다.
video-ai-talking은(는) 어디에 사용할 수 있나요?
매번 새로 촬영하지 않고 짧은 토킹헤드 설명 영상을 제작합니다. 얼굴을 한 번 촬영한 영상으로 숏폼 플랫폼용 세로형 클립을 만듭니다. API 호출 비용을 지불하기 전에 모의 모드로 AI 더빙 토킹헤드 콘텐츠를 시험 제작합니다.
video-ai-talking는 어떻게 설치하나요?
리포지토리를 클론합니다: git clone https://github.com/yizhi-chengzi/video-ai-talking.git 프로젝트 폴더로 이동합니다: cd video-ai-talking 예제 env 파일을 복사합니다: cp .env.example .env 종속성을 설치하고 개발 서버를 시작한 다음 http://127.0.0.1:5175 를 엽니다: npm install && npm run dev
video-ai-talking은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/yizhi-chengzi/video-ai-talking

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트