asanchezyali/talking-avatar-with-ai

어떤 프로젝트인가요?

핵심 기능

• 01OpenAI Whisper를 통한 음성 텍스트 변환 입력.
• 02표정 및 애니메이션 필드가 포함된 구조화된 GPT 답변 생성.
• 03Eleven Labs TTS API를 통한 음성 합성.
• 04Rhubarb Lip Sync를 통한 립싱크 비짐 데이터 생성.
• 05로컬 개발을 위한 백엔드와 브라우저 클라이언트로 구성된 모노레포.

활용 사례

• 데모나 게임용 대화형 캐릭터 프로토타이핑.
• LLM, 음성 텍스트 변환, TTS, 립싱크를 하나의 파이프라인으로 연결하는 방법 학습.
• 애니메이션 얼굴을 갖춘 가상 진행자나 어시스턴트 구축.

빠른 시작

1. 1

   저장소를 클론합니다

2. 2

   프로젝트 디렉터리에서 모노레포의 종속성을 설치합니다

   yarn
3. 3

   OpenAI 및 Eleven Labs 키가 포함된 .env 파일을 /apps/backend/에 만듭니다

4. 4

   개발 시스템을 실행합니다

   yarn dev

사용 전 알아둘 점

• !라이선스가 지정되어 있지 않아 사용 권한이 불분명합니다.
• !유료 OpenAI 및 Eleven Labs 구독이 필요합니다. Eleven Labs 무료 요금제는 요청 한도로 인해 작동하지 않는다고 합니다.
• !실행 전에 Rhubarb Lip-Sync와 ffmpeg를 수동으로 설치해야 합니다.

토픽

자주 묻는 질문

talking-avatar-with-ai은(는) 무엇인가요?

음성을 듣고 GPT로 답변하며 ElevenLabs 음성과 Rhubarb 립싱크로 말하는 디지털 휴먼 아바타입니다. 이 프로젝트는 음성을 듣고 응답할 수 있는 대화형 디지털 휴먼을 구현합니다. 텍스트나 음성 입력을 OpenAI의 GPT가 답변으로 만들고, 음성 입력은 Whisper가 텍스트로 변환합니다. 이어서 Eleven Labs 텍스트 음성 변환으로 답변을 음성화하고, Rhubarb Lip Sync가 비짐 데이터를 생성해 아바타의 입 모양을 오디오에 맞춥니다.

talking-avatar-with-ai은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

talking-avatar-with-ai에는 명시된 라이선스가 없습니다. 코드는 공개되어 있지만 라이선스가 없으면 재사용 허가가 명확하지 않으므로, 사용 전에 작성자에게 문의하는 것이 좋습니다.

talking-avatar-with-ai은(는) 아직 유지보수되고 있나요?

6개월 이내 업데이트. talking-avatar-with-ai의 마지막 커밋은 2026년 9월 16일입니다.

talking-avatar-with-ai은(는) 어디에 사용할 수 있나요?

데모나 게임용 대화형 캐릭터 프로토타이핑. LLM, 음성 텍스트 변환, TTS, 립싱크를 하나의 파이프라인으로 연결하는 방법 학습. 애니메이션 얼굴을 갖춘 가상 진행자나 어시스턴트 구축.

talking-avatar-with-ai는 어떻게 설치하나요?

저장소를 클론합니다 프로젝트 디렉터리에서 모노레포의 종속성을 설치합니다: yarn OpenAI 및 Eleven Labs 키가 포함된 .env 파일을 /apps/backend/에 만듭니다 개발 시스템을 실행합니다: yarn dev

talking-avatar-with-ai은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/asanchezyali/talking-avatar-with-ai